KR102341075B1 - 이미지에 포함된 객체의 선택적 비식별화 장치 및 방법 - Google Patents

이미지에 포함된 객체의 선택적 비식별화 장치 및 방법 Download PDF

Info

Publication number
KR102341075B1
KR102341075B1 KR1020200106125A KR20200106125A KR102341075B1 KR 102341075 B1 KR102341075 B1 KR 102341075B1 KR 1020200106125 A KR1020200106125 A KR 1020200106125A KR 20200106125 A KR20200106125 A KR 20200106125A KR 102341075 B1 KR102341075 B1 KR 102341075B1
Authority
KR
South Korea
Prior art keywords
identification
face
size
area
image
Prior art date
Application number
KR1020200106125A
Other languages
English (en)
Other versions
KR102341075B9 (ko
KR20210112991A (ko
Inventor
이진석
이승원
김범진
김형복
윤석원
Original Assignee
주식회사 테스트웍스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 테스트웍스 filed Critical 주식회사 테스트웍스
Publication of KR20210112991A publication Critical patent/KR20210112991A/ko
Application granted granted Critical
Publication of KR102341075B1 publication Critical patent/KR102341075B1/ko
Publication of KR102341075B9 publication Critical patent/KR102341075B9/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G06T5/005—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G06F21/6254—Protecting personal data, e.g. for financial or medical purposes by anonymising data, e.g. decorrelating personal data from the owner's identification
    • G06K9/00791—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G06K2209/15—

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

이미지에 포함된 객체의 선택적 비식별화 장치 및 방법을 개시한다. 본 발명은 이미지에 포함된 객체의 비식별화를 수행함에 있어서, 해당 객체의 종류에 따라 선택적으로 비식별화를 수행할 수 있다.

Description

이미지에 포함된 객체의 선택적 비식별화 장치 및 방법{APPARATUS AND METHOD FOR SELECTIVELY DEIDENTIFYING OBJECT INCLUDED IN IMAGE}
본 발명은 이미지에 포함된 객체의 선택적 비식별화 장치 및 방법에 관한 발명으로서, 더욱 상세하게는 이미지에 포함된 객체의 비식별화를 수행함에 있어서, 해당 객체의 종류에 따라 선택적으로 비식별화를 수행하는 이미지에 포함된 객체의 선택적 비식별화 장치 및 방법에 관한 것이다.
최근, 개인정보의 보호 및 의도치 않은 노출을 방지하기 위해, 수집된 다수의 디지털 이미지에 대해서 비식별화를 수행하는 경우가 늘고 있다.
이와 같이 비식별화를 수행하는 경우, 이미지에 포함된 사람의 얼굴과 자동차 번호판에 대해서 비식별화를 수행하는 것이 일반적이다.
그러나, 사람의 얼굴과 자동차 번호판은 서로 다른 특성을 가지는 객체로서, 동일한 비식별화 알고리즘을 일률적으로 적용할 경우 원치 않는 결과를 나타내는 경우가 있다.
보다 구체적으로, 자동차의 번호판은 해당 영역을 강하게 블러(Blur) 처리를 해도 전체적으로 자동차임을 판별하거나 번호판의 위치를 판단하는데 영향이 적은 반면, 사람의 얼굴에 마찬가지로 강하게 블러 처리를 할 경우 어느 정도 눈, 코, 입 등의 위치를 인지할 수 있어야 이미지를 보는 사람에게 덜 거부감을 준다.
도1은 종래 기술에 따른 블러 처리된 이미지를 나타낸 예시도이다.
도1에 도시된 바와 같이, 블러 처리된 이미지(10) 상에서 자동차(20)가 사람(30)이 객체로 인식된 경우, 자동차 번호판(21)과 사람의 얼굴(31)은 블러 처리가 된다.
그러나, 종래 기술에 따른 블러 처리는 자동차 번호판(21)과 얼굴(31)이 동일한 강도로 블러 처리가 수행되어, 특히 사람 얼굴(31)의 블러 처리에 따른 거부감이 발생하는 문제점이 있다.
즉, 전체적으로 사람임을 인식하는 데 도움이 되기 때문에, 자동차 번호판에 대한 블러 처리와는 달리 사람의 얼굴은 선택적 블러 처리하는 것이 바람직하다.
또한, 종래 기술에 따른 블러 처리는 사람 얼굴의 블러 처리가 일괄적으로 처리되어 인공 지능 학습 시스템에서 학습용 데이터로 활용할 수 없는 문제점이 있다.
즉, 강한 블러 처리로 인해 사람의 얼굴에 대한 윤곽선이 사라져 인공 지능 학습 과정에서 사람으로 인식하지 못하는 문제점이 있다.
한국 등록특허공보 등록번호 제10-1936802호(발명의 명칭: 얼굴 인식 기반의 개인정보 보호장치 및 방법)
이러한 문제점을 해결하기 위하여, 본 발명은 이미지에 포함된 객체의 비식별화를 수행함에 있어서, 해당 객체의 종류에 따라 선택적으로 비식별화를 수행하는 이미지에 포함된 객체의 선택적 비식별화 장치 및 방법을 제공하는 것을 목적으로 한다.
상기한 목적을 달성하기 위하여 본 발명의 일 실시 예는 이미지에 포함된 객체의 선택적 비식별화 장치로서, 원본 이미지에 포함된 객체를 인식하되, 상기 원본 이미지로부터 객체를 인식하고, 상기 인식된 객체 중에서 미리 설정된 비식별화 객체에 대하여 사람의 얼굴 객체 영역은 인식된 얼굴 객체 영역의 크기에 따라 얼굴 객체 영역의 픽셀(Pixel) 크기가 증가 또는 감소되도록 조정하여 비식별화 처리를 수행하는 비식별화 장치인 것을 특징으로 한다.
또한, 상기 실시 예에 따른 비식별화 장치는 인식된 비식별화 객체 중에서 사람의 얼굴 객체 영역 이외의 비식별화 객체 영역은 픽셀의 크기를 특정 값으로 설정하여 비식별화 처리를 수행하는 것을 특징으로 한다.
또한, 상기 실시 예에 따른 얼굴 객체 영역의 픽셀 크기는 전체 이미지 영역의 크기와 대비하여 인식된 얼굴 객체 영역의 크기에 따라 결정되는 것을 특징으로 한다.
또한, 상기 실시 예에 따른 비식별화 장치는 원본 이미지를 수신하는 이미지 입력부; 기계학습 프로그램, 딥러닝 프로그램 중 하나 이상의 프로그램을 이용하여 상기 원본 이미지로부터 객체를 인식하고, 상기 인식된 객체 중에서 미리 설정된 비식별화 객체를 추출하는 객체 인식부; 및 상기 추출된 비식별화 객체를 사람의 얼굴 객체 영역과, 그 외의 비식별화 객체 영역을 구분하되, 상기 사람의 얼굴 객체 영역은 인식된 얼굴 객체 영역의 크기에 따라 얼굴 영역의 픽셀(Pixel) 크기가 증가 또는 감소되도록 조정하여 비식별화 처리를 수행하고, 상기 사람의 얼굴 영역 이외의 비식별화 객체 영역은 픽셀의 크기를 특정 값으로 설정하여 비식별화 처리를 수행하는 비식별화부;를 포함하는 것을 특징으로 한다.
또한, 상기 실시 예에 따른 비식별화부는 상기 추출된 비식별화 객체를 사람의 얼굴 객체 영역과, 그 외의 비식별화 객체 영역을 구분하는 비식별화 대상 분석부; 상기 구분된 비식별화 중에서 사람의 얼굴 객체 영역은 인식된 얼굴 영역의 크기에 따라 얼굴 영역의 픽셀(Pixel) 크기가 증가 또는 감소되도록 조정하고, 상기 사람의 얼굴 영역 이외의 비식별화 객체 영역은 픽셀의 크기를 특정 값으로 설정하는 블러링값 생성부; 및 상기 블러링값 생성부의 조정 또는 설정 결과에 따라 사람의 얼굴 객체 영역 또는 그외의 비식별화 객체 영역을 비식별화 처리하는 비식별화 생성부;를 포함하는 것을 특징으로 한다.
또한, 본 발명의 일 실시 예는 이미지에 포함된 객체의 선택적 비식별화 방법으로서, a) 비식별화 장치가 원본 이미지를 수신하는 단계; b) 상기 비식별화 장치가 기계학습 프로그램, 딥러닝 프로그램 중 하나 이상의 프로그램을 이용하여 상기 원본 이미지로부터 객체를 인식하고, 상기 인식된 객체 중에서 미리 설정된 비식별화 객체를 추출하는 단계; 및 c) 상기 비식별화 장치가 상기 추출된 비식별화 객체를 사람의 얼굴 객체 영역과, 그 외의 비식별화 객체 영역을 구분하되, 상기 사람의 얼굴 객체 영역은 인식된 얼굴 영역의 크기에 따라 얼굴 영역의 픽셀(Pixel) 크기가 증가 또는 감소되도록 조정하여 비식별화 처리하고, 상기 사람의 얼굴 영역 이외의 비식별화 객체 영역은 픽셀의 크기를 특정 값으로 설정하여 비식별화 처리를 수행하는 객체 비식별화 단계;를 포함한다.
또한, 상기 실시 예에 따른 c) 단계는 비식별화 장치가 c-1) 상기 추출된 비식별화 객체를 사람의 얼굴 객체 영역과, 그 외의 비식별화 객체 영역을 구분하는 단계; c-2) 상기 구분 결과, 사람의 얼굴 객체 영역이면 상기 비식별화 장치가 사람의 얼굴 객체 영역의 크기를 추출하고, 상기 추출된 얼굴 객체 영역의 크기에 따라 얼굴 객체 영역의 비식별화를 위한 픽셀(Pixel) 크기를 조정하는 단계; 및 c-3) 상기 비식별화 장치가 사람의 얼굴 객체 영역을 조정된 픽셀 크기에 따라 비식별화 처리하는 단계;를 포함하는 것을 특징으로 한다.
또한, 상기 실시 예는 c-4) 상기 구분 결과, 사람 얼굴 이외의 비식별화 객체 영역이면, 상기 비식별화 장치가 사람의 얼굴 영역 이외의 비식별화 객체 영역에 대한 픽셀의 크기를 특정 값으로 설정하는 단계; 및 c-5) 상기 비식별화 장치가 사람의 얼굴 영역 이외의 비식별화 객체 영역을 상기 c-4) 단계에서 설정된 픽셀 크기에 따라 비식별화 처리하는 단계;를 더 포함하는 것을 특징으로 한다.
또한, 상기 실시 예에 따른 얼굴 객체 영역의 픽셀 크기는 전체 이미지 영역의 크기와 대비하여 인식된 얼굴 객체 영역의 크기에 따라 결정되는 것을 특징으로 한다.
본 발명은 이미지에 포함된 객체의 비식별화를 수행함에 있어서, 해당 객체의 종류에 따라 선택적으로 비식별화를 수행할 수 있는 장점이 있다.
또한, 본 발명은 디지털 이미지에 대한 블러 처리를 수행함에 있어서, 사람의 얼굴과 자동차 번호판에 대하여 서로 다른 블러 처리를 적용함으로써, 이미지를 보는 사람으로 하여금 위화감 없이 정확하게 이미지를 인식할 수 있는 장점이 있다.
또한, 본 발명은 이미지 내의 사람 얼굴이라도 일률적으로 블러 처리를 적용하지 않고, 인식된 얼굴의 크기에 따라 서로 다른 블러 처리를 수행함으로써, 얼굴의 크기가 클 경우 사람의 신원이 식별되는 불충분한 블러 처리가 수행되는 것을 방지할 수 있는 장점이 있다.
또한, 본 발명은 얼굴의 크기가 작은 경우, 인물의 눈, 코, 입 등이 완전히 뭉개져서 눈, 코, 입을 식별할 수 없게 되는 문제점을 개선할 수 있는 장점이 있다.
또한, 본 발명은 이미지 내에서 인물의 상대적인 얼굴 크기에 따라 가변적으로 블러 처리를 수행함으로써, 인물의 크기에 상관없이 인물의 신원을 드러내지 않으면서, 눈, 코, 입 등이 어느 정도 식별될 수 있도록 하여 인공 지능(AI) 시스템의 학습에 반영되는 영향을 최소화 할 수 있는 장점이 있다.
도1은 종래 기술에 따른 블러 처리된 이미지를 나타낸 예시도.
도2는 본 발명의 일 실시 예에 따른 이미지에 포함된 객체의 선택적 비식별화 장치를 나타낸 블록도.
도3은 도2의 실시 예에 따른 이미지에 포함된 객체의 선택적 비식별화 장치의 비식별화부를 나타낸 블록도.
도4는 본 발명의 일 실시 예에 따른 이미지에 포함된 객체의 선택적 비식별화 방법을 나타낸 흐름도.
도5는 도4의 실시 예에 따른 이미지에 포함된 객체의 선택적 비식별화 방법의 객체 비식별화 과정을 나타낸 흐름도.
도6은 본 발명의 일 실시 예에 따른 이미지에 포함된 객체의 선택적 비식별화 방법의 얼굴 영역 크기에 따른 비식별화 과정을 설명하기 위한 예시도.
도7은 본 발명의 일 실시 예에 따른 이미지에 포함된 객체의 선택적 비식별화 방법을 이용하여 비식별화된 얼굴 모습을 나타낸 예시도.
이하에서는 본 발명의 바람직한 실시 예 및 첨부하는 도면을 참조하여 본 발명을 상세히 설명하되, 도면의 동일한 참조부호는 동일한 구성요소를 지칭함을 전제하여 설명하기로 한다.
본 발명의 실시를 위한 구체적인 내용을 설명하기에 앞서, 본 발명의 기술적 요지와 직접적 관련이 없는 구성에 대해서는 본 발명의 기술적 요지를 흩뜨리지 않는 범위 내에서 생략하였음에 유의하여야 할 것이다.
또한, 본 명세서 및 청구범위에 사용된 용어 또는 단어는 발명자가 자신의 발명을 최선의 방법으로 설명하기 위해 적절한 용어의 개념을 정의할 수 있다는 원칙에 입각하여 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 할 것이다.
본 명세서에서 어떤 부분이 어떤 구성요소를 "포함"한다는 표현은 다른 구성요소를 배제하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
또한, "‥부", "‥기", "‥모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어, 또는 그 둘의 결합으로 구분될 수 있다.
또한, "적어도 하나의" 라는 용어는 단수 및 복수를 포함하는 용어로 정의되고, 적어도 하나의 라는 용어가 존재하지 않더라도 각 구성요소가 단수 또는 복수로 존재할 수 있고, 단수 또는 복수를 의미할 수 있음은 자명하다 할 것이다.
또한, 각 구성요소가 단수 또는 복수로 구비되는 것은, 실시 예에 따라 변경가능하다 할 것이다.
이하, 첨부된 도면을 참조하여 본 발명의 일 실시 예에 따른 이미지에 포함된 객체의 선택적 비식별화 장치 및 방법의 바람직한 실시예를 상세하게 설명한다.
도2는 본 발명의 일 실시 예에 따른 이미지에 포함된 객체의 선택적 비식별화 장치를 나타낸 블록도이고, 도3은 도2의 실시 예에 따른 이미지에 포함된 객체의 선택적 비식별화 장치의 비식별화부를 나타낸 블록도이다.
도2 및 도3을 참조하면, 본 발명의 일 실시 예에 따른 이미지에 포함된 객체의 선택적 비식별화 장치(100)는 원본 이미지에 포함된 객체를 인식하고, 상기 원본 이미지로부터 객체를 인식하고, 상기 인식된 객체 중에서 미리 설정된 비식별화 객체에 대하여 사람의 얼굴 객체 영역은 인식된 얼굴 객체 영역의 크기에 따라 얼굴 객체 영역의 픽셀(Pixel) 크기가 증가 또는 감소되도록 조정하여 비식별화 처리를 수행할 수 있고, 이미지 입력부(110)와, 객체 인식부(120)와, 비식별화부(130)를 포함하여 구성될 수 있다.
또한, 상기 비식별화 장치(100)는 서버 시스템, 데스크탑 PC, 노트북 PC, 태블릿 PC, 모바일 단말기 등 이미지의 작성, 편집, 뷰잉(viewing) 또는 저장 등의 기능을 수행할 수 있는 마이크로프로세서 기반의 장치를 기반으로 구현될 수 있다.
상기 이미지 입력부(110)는 사용자로부터 원본 이미지를 포함한 디지털 전자문서를 입력받는 구성으로서, 내부 저장장치 또는 외부 저장장치 등에 저장된 원본 이미지 정보를 수신하거나, CCD 센서, CMOS 센서 또는 광전변환수단을 구비한 디지털 촬영장치로부터 출력되는 원본 이미지 정보를 수신한다.
상기 객체 인식부(120)는 이미지 입력부(110)를 통해 입력받은 원본 이미지를 기계학습 프로그램, 딥러닝 프로그램 중 하나 이상의 프로그램을 이용하여 상기 원본 이미지로부터 객체를 인식하고, 상기 인식된 객체 중에서 미리 설정된 비식별화 객체를 추출한다.
즉, 상기 객체 인식부(120)는 입력받은 이미지를 미리 학습된 기계학습 모델 또는 딥러닝 모델에 입력하여 비식별 대상 객체, 예를 들어 사람의 얼굴이나 자동차 번호판 등의 개인정보 보호와 의도치 않은 노출의 차단이 요구되는 객체를 식별한다.
또한, 상기 객체 인식부(120)는 얼굴 인식을 위하여는 Gabor Filter, PCA(Principal Component Analysis), FDA(Fisher Discriminant Analysis), ICA(Independent Component Analysis), LBP(local Binary Feature), SVM(Support Vector machine) 등과 같은 다양한 특징 추출 및 인식 알고리즘을 적용 할 수 있다.
또한, 상기 객체 인식부(120)는 객채의 인식과, 인식된 객체 중에서 비식별화 객체의 추출을 위한 기계학습 프로그램, 딥러닝 프로그램을 저장하는 데이터베이스(140)를 포함하여 구성될 수 있다.
상기 데이터베이스(140)는 비식별화 장치(100)에 물리적으로 포함된 저장 매체로 구성될 있지만, 상기 비식별화 장치(100)와 분리되어 원격지에 설치되고, 네트워크를 통해 연결된 저장 매체로 구성될 수도 있다.
상기 비식별화부(130)는 객체 인식부(120)에서 추출된 비식별화 객체에 대하여 사람의 얼굴을 포함한 객체 영역과, 자동차 번호판 등과 같은 그 외의 비식별화 객체 영역을 구분한다.
또한, 상기 비식별화부(130)는 구분된 비식별화 객체 중에서 사람의 얼굴 객체 영역은 인식된 얼굴 객체 영역의 크기에 따라 얼굴 영역의 픽셀(Pixel) 크기가 증가 또는 감소되도록 조정하여 비식별화 처리를 수행한다.
여기서, 비식별화는 모자이크 처리, 블러링(blurring), 인버팅(inverting), 왜곡(distortion), 암흑화(blinding or darkening) 등의 방법을 포함할 수 있다.
또한, 상기 비식별화부(130)는 구분된 비식별화 객체 중에서 사람의 얼굴 영역 이외의 비식별화 객체 영역은 픽셀의 크기를 특정 값으로 설정하여 비식별화 처리를 수행하는 구성으로서, 비식별화 대상 분석부(131)와, 블러링값 산출부(132)와, 비식별화 생성부(133)를 포함하여 구성된다.
상기 비식별화 대상 분석부(131)는 상기 추출된 비식별화 객체를 사람의 얼굴 객체 영역과, 그 외의 비식별화 객체 영역을 구분한다.
즉, 상기 비식별화 대상 분석부(131)는 객체 인식부(120)에서 추출된 비식별화 객체 중에서 사람의 얼굴이 포함된 객체 영역과, 자동차 번호판 등의 그 외 비식별화 객체 영역을 구분한다.
상기 블러링값 생성부(132)는 비식별화 대상 분석부(131)에서 구분된 비식별화 객체 영역 중에서 사람의 얼굴 객체 영역은 인식된 얼굴 영역의 크기에 따라 얼굴 영역의 픽셀(Pixel) 크기가 증가 또는 감소되도록 조정한다.
즉, 상기 블러링값 생성부(132)는 사람의 얼굴 객체 영역에 대하여 일괄적으로 비식별화 처리(예를 들면, 블러(Blur) 처리)를 수행할 경우, 얼굴의 눈, 코, 입 등의 위치를 인지할 수 없지만, 어느 정도 얼굴 윤곽, 눈, 코, 입 등의 위치를 인지할 수 있게 비식별화 처리가 이루지게 픽셀 크기의 조정을 이용한 비식별화 강도가 조절되도록 한다.
또한, 상기 블러링값 생성부(132)는 전체적으로 사람을 인식하는데 반영될 수 있도록 비식별화 처리를 할 경우, 얼굴 윤곽, 눈, 코, 입의 형태가 남아 있도록 주변 픽셀(또는 window/kernel)의 평균값을 산출하여 비식별화 처리에 반영될 수 있도록 한다.
또한, 상기 블러링값 생성부(132)는 전체 이미지 영역의 크기와 인식된 얼굴 객체 영역의 크기를 대비하여 픽셀(Pixel)의 크기를 결정한다.
즉, 일률적으로 주변 픽셀의 크기를 적용하면, 인식된 얼굴의 크기에 따라 얼굴임을 알 수 있을 정도로 비식별화 될 수 있지만, 작은 값으로 평균을 산출하면 얼굴 객체 영역이 큰 이미지의 경우, 약간의 비식별화 처리만 이루어져서 비식별화가 제대로 안된다.
또한, 평균을 큰 값으로 산출하면 얼굴 객체 영역이 작은 이미지인 경우, 완전히 뭉개져서 얼굴임을 알 수 없게 된다.
따라서, 상기 블러링값 생성부(132)는 추출된 얼굴 객체의 크기에 따라 얼굴 객체의 중심으로부터 일정 범위의 픽셀(몇 번째 픽셀)까지에 대한 픽셀 크기의 평균값을 산출하여 얼굴과 배경의 경계선이 나타날 수 있도록 한다.
또한, 상기 블러링값 생성부(132)는 얼굴 객체의 크기가 작으면 픽셀 크기의 평균값을 줄이며, 얼굴 객체의 크기가 크면 픽셀 크기의 평균값을 증가시켜 추출된 얼굴 객체의 크기에 따라 주변 픽셀들의 평균값을 가변하여 얼굴 윤곽이 어느 정도 유지될 수 있도록 한다.
또한, 상기 블러링값 생성부(132)는 비식별화 대상 분석부(131)에서 구분된 비식별화 객체 영역 중에서 사람의 얼굴 객체 영역 이외의 비식별화 객체 영역에 대하여 픽셀의 크기를 특정 값으로 설정되도록 한다.
즉, 상기 블러링값 생성부(132)는 인식된 비식별화 객체 중에서 사람의 얼굴 객체 영역 이외의 비식별화 객체 영역, 예를 들면 자동차 번호판은 픽셀의 크기를 특정 값으로 설정하여 강한 비식별화 처리(도1의 도면부호 21 참조)가 수행될 수 있도록 한다.
상기 비식별화 생성부(133)는 블러링값 생성부(132)의 조정 또는 설정 결과에 따라 사람의 얼굴 객체 영역 또는 그외의 비식별화 객체 영역을 비식별화 처리한다.
다음은 본 발명의 일 실시 예에 따른 이미지에 포함된 객체의 선택적 비식별화 방법을 설명한다.
도4는 본 발명의 일 실시 예에 따른 이미지에 포함된 객체의 선택적 비식별화 방법을 나타낸 흐름도이고, 도5는 도4의 실시 예에 따른 이미지에 포함된 객체의 선택적 비식별화 방법의 객체 비식별화 과정을 나타낸 흐름도이다.
도2 내지 도5를 참조하면, 비식별화 장치(100)는 이미지 입력부(110)를 통해 원본 이미지를 수신(S100)한다.
상기 비식별화 장치(100)는 S100 단계에서 수신된 원본 이미지에 대하여 기계학습 프로그램, 딥러닝 프로그램 중 하나 이상의 프로그램 등을 통해 상기 원본 이미지로부터 객체를 인식하고, 상기 인식된 객체 중에서 미리 설정된 비식별화 객체를 추출(S200)한다.
상기 비식별화 장치(100)는 추출된 비식별화 객체를 사람의 얼굴 객체 영역과, 그 외의 비식별화 객체 영역을 구분하고, 상기 사람의 얼굴 객체 영역은 인식된 얼굴 영역의 크기에 따라 얼굴 영역의 픽셀(Pixel) 크기가 증가 또는 감소되도록 조정하여 비식별화 처리하며, 상기 사람의 얼굴 영역 이외의 비식별화 객체 영역은 픽셀의 크기를 특정 값으로 설정하여 비식별화 처리가 수행(S300)될 수 있도록 한다.
상기 S300 단계를 더욱 상세하게 설명하면, 비식별화 장치(100)는 추출된 비식별화 객체를 사람의 얼굴 객체 영역과, 그 외의 비식별화 객체 영역을 인식(S310)하고, 얼굴 객체 영역과 그 외의 비식별화 객체 영역으로 구분(S320)한다.
상기 S320 단계의 구분 결과, 사람의 얼굴 객체 영역이면 비식별화 장치(100)는 사람의 얼굴 객체 영역의 크기를 추출(S330)하고, 상기 추출된 얼굴 객체 영역의 크기에 따라 얼굴 객체 영역의 비식별화를 위한 픽셀(Pixel) 크기의 평균값을 산출(S340)하여 얼굴 객체 영역의 크기에 따른 비식별화 강도가 조정되도록 한다.
즉, 도6에 나타낸 바와 같이, 비식별화 대상 이미지(200)에서 인식된 제1 얼굴 객체 영역(210)과, 제2 얼굴 객체 영역(220)에 대하여 전체 이미지 영역의 크기와 인식된 제1 얼굴 객체 영역(210) 및 제2 얼굴 객체 영역(220)의 크기를 대비하여 비식별화 처리를 위한 제1 및 제2 얼굴 객체 영역(210, 220)의 픽셀(Pixel) 크기를 결정한다.
이때, 상기 비식별화 장치(100)는 추출된 얼굴 객체의 크기에 따라 얼굴 객체의 중심으로부터 일정 범위의 픽셀(몇 번째 픽셀)까지에 대한 픽셀 크기의 평균값을 산출하고, 상기 픽셀 크기의 평값은 얼굴 객체의 크기가 작은 제2 얼굴 객체 영역(220)은 픽셀 크기의 평균값을 줄이며, 얼굴 객체의 크기가 큰 제1 얼굴 객체 영역(210)은 픽셀 크기의 평균값을 증가시켜 추출된 얼굴 객체의 크기에 따라 주변 픽셀들의 평균값을 가변시켜 얼굴 윤곽이 어느 정도 유지될 수 있도록 한다.
계속해서, 상기 비식별화 장치(100)는 상기 S340) 단계에서 조정된 픽셀 크기의 평균값에 따라 사람의 얼굴 객체 영역의 픽셀 크기를 조정하여 얼국 객체 영역의 비식별화 처리(S350)가 이루어질 수 있도록 한다.
즉, 도7에 나타낸 바와 같이, 비식별화 처리 이미지(300)에서 얼굴 객체 영역의 크기에 따라 픽셀 크기의 조정을 이용한 비식별화 강도 조절을 통해 어느 정도 얼굴 윤곽, 눈, 코, 입 등의 위치를 인지할 수 있게 비식별화된 얼굴(310)이 포함될 수 있도록 한다.
한편, 상기 S320 단계의 구분 결과, 사람 얼굴 이외의 비식별화 객체 영역, 예를 들어 자동차 번호판인지 판단(S331)한다.
상기 S331 단계의 판단 결과, 자동차 번호판이면, 비식별화 장치(100)는 사람의 얼굴 영역 이외의 비식별화 객체 영역에 대한 픽셀의 크기를 미리 설정된 특정 값으로 설정하고, 상기 설정된 픽셀 크기에 따라 강한 비식별화 처리(S341)를하수행한다.
또한, 상기 실시 예에 따른 얼굴 객체 영역의 픽셀 크기는 전체 이미지 영역의 크기와 대비하여 인식된 얼굴 객체 영역의 크기에 따라 결정되는 것을 특징으로 한다.
따라서, 이미지에 포함된 객체의 비식별화를 수행함에 있어서, 해당 객체의 종류에 따라 선택적으로 비식별화를 수행할 수 있고, 사람의 얼굴과 자동차 번호판에 대하여 서로 다른 블러 처리를 적용함으로써, 이미지를 보는 사람으로 하여금 위화감 없이 정확하게 이미지를 인식할 수 있다.
또한, 이미지 내의 사람 얼굴이라도 일률적으로 블러 처리를 적용하지 않고, 인식된 얼굴의 크기에 따라 서로 다른 블러 처리를 수행함으로써, 얼굴의 크기가 클 경우 사람의 신원이 식별되는 불충분한 블러 처리가 수행되는 것과, 얼굴의 크기가 작은 경우, 인물의 눈, 코, 입 등이 완전히 뭉개져서 눈, 코, 입을 식별할 수 없게 되는 것을 방지할 수 있다.
또한, 이미지 내에서 인물의 상대적인 얼굴 크기에 따라 가변적으로 블러 처리를 수행함으로써, 인물의 크기에 상관없이 인물의 신원을 드러내지 않으면서, 눈, 코, 입 등이 어느 정도 식별될 수 있도록 하여 인공 지능(AI) 시스템의 학습에 반영되는 영향을 최소화 할 수 있다.
상기와 같이, 본 발명의 바람직한 실시 예를 참조하여 설명하였지만 해당 기술 분야의 숙련된 당업자라면 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
또한, 본 발명의 특허청구범위에 기재된 도면번호는 설명의 명료성과 편의를 위해 기재한 것일 뿐 이에 한정되는 것은 아니며, 실시예를 설명하는 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다.
또한, 상술된 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있으므로, 이러한 용어들에 대한 해석은 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
또한, 명시적으로 도시되거나 설명되지 아니하였다 하여도 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기재사항으로부터 본 발명에 의한 기술적 사상을 포함하는 다양한 형태의 변형을 할 수 있음은 자명하며, 이는 여전히 본 발명의 권리범위에 속한다.
또한, 첨부하는 도면을 참조하여 설명된 상기의 실시예들은 본 발명을 설명하기 위한 목적으로 기술된 것이며 본 발명의 권리범위는 이러한 실시예에 국한되지 아니한다.
100 : 비식별화 장치
110 : 이미지 입력부
120 : 객체 인식부
130 : 비식별화부
131 : 비식별화 대상 분석부
132 : 블러링값 산출부
133 : 비식별화 생성부
140 : 데이터베이스
200 : 비식별화 대상 이미지
210 : 제1 얼굴 객체 영역
220 : 제2 얼굴 객체 영역
300 : 비식별화 처리 이미지
310 : 비식별화된 얼굴

Claims (9)

  1. 원본 이미지에 포함된 객체를 인식하되,
    상기 인식된 객체 중에서 미리 설정된 비식별화 객체에 대하여 사람의 얼굴 객체 영역은 인식된 얼굴 객체 영역의 크기에 따라 얼굴 객체 영역의 픽셀(Pixel) 크기가 증가 또는 감소되도록 조정하여 비식별화 처리를 수행하는 비식별화 장치(100)를 포함하고,
    상기 얼굴 객체 영역의 픽셀 크기는 전체 이미지 영역의 크기와 대비하여 인식된 얼굴 객체 영역의 크기에 따라 결정하되,
    얼굴과 배경의 경계선이 나타나도록 인식된 얼굴 객체의 중심으로부터 일정 범위 픽셀까지에 대한 픽셀 크기의 평균값을 산출하는 것을 특징으로 하는 이미지에 포함된 객체의 선택적 비식별화 장치.
  2. 제 1 항에 있어서,
    상기 비식별화 장치(100)는 인식된 비식별화 객체 중에서 사람의 얼굴 객체 영역 이외의 비식별화 객체 영역은 픽셀의 크기를 특정 값으로 설정하여 비식별화 처리를 수행하는 것을 특징으로 하는 이미지에 포함된 객체의 선택적 비식별화 장치.
  3. 삭제
  4. 제 1 항에 있어서,
    상기 원본 이미지를 수신하는 이미지 입력부(110);
    기계학습 프로그램, 딥러닝 프로그램 중 하나 이상의 프로그램을 이용하여 상기 원본 이미지로부터 객체를 인식하고, 상기 인식된 객체 중에서 미리 설정된 비식별화 객체를 추출하는 객체 인식부(120); 및
    상기 추출된 비식별화 객체를 사람의 얼굴 객체 영역과, 그 외의 비식별화 객체 영역을 구분하되,
    상기 사람의 얼굴 객체 영역은 인식된 얼굴 객체 영역의 크기에 따라 얼굴 영역의 픽셀(Pixel) 크기가 증가 또는 감소되도록 조정하여 비식별화 처리를 수행하고,
    상기 사람의 얼굴 영역 이외의 비식별화 객체 영역은 픽셀의 크기를 특정 값으로 설정하여 비식별화 처리를 수행하는 비식별화부(130);를 포함하는 것을 특징으로 하는 이미지에 포함된 객체의 선택적 비식별화 장치.
  5. 제 4 항에 있어서,
    상기 비식별화부(130)는 상기 추출된 비식별화 객체를 사람의 얼굴 객체 영역과, 그 외의 비식별화 객체 영역을 구분하는 비식별화 대상 분석부(131);
    상기 구분된 비식별화 중에서 사람의 얼굴 객체 영역은 인식된 얼굴 영역의 크기에 따라 얼굴 영역의 픽셀(Pixel) 크기가 증가 또는 감소되도록 조정하고, 상기 사람의 얼굴 영역 이외의 비식별화 객체 영역은 픽셀의 크기를 특정 값으로 설정하는 블러링값 생성부(132); 및
    상기 블러링값 생성부(132)의 조정 또는 설정 결과에 따라 사람의 얼굴 객체 영역 또는 그외의 비식별화 객체 영역을 비식별화 처리하는 비식별화 생성부(133);를 포함하는 것을 특징으로 하는 이미지에 포함된 객체의 선택적 비식별화 장치.
  6. a) 비식별화 장치(100)가 원본 이미지를 수신하는 단계;
    b) 상기 비식별화 장치(100)가 기계학습 프로그램, 딥러닝 프로그램 중 하나 이상의 프로그램을 이용하여 상기 원본 이미지로부터 객체를 인식하고, 상기 인식된 객체 중에서 미리 설정된 비식별화 객체를 추출하는 단계; 및
    c) 상기 비식별화 장치(100)가 상기 추출된 비식별화 객체를 사람의 얼굴 객체 영역과, 그 외의 비식별화 객체 영역을 구분하되,
    상기 사람의 얼굴 객체 영역은 인식된 얼굴 객체 영역의 크기에 따라 얼굴 영역의 픽셀(Pixel) 크기가 증가 또는 감소되도록 조정하여 비식별화 처리하고,
    상기 사람의 얼굴 영역 이외의 비식별화 객체 영역은 픽셀의 크기를 특정 값으로 설정하여 비식별화 처리를 수행하는 객체 비식별화 단계;를 포함하며,
    얼굴 객체 영역의 픽셀 크기는 전체 이미지 영역의 크기와 대비하여 인식된 얼굴 객체 영역의 크기에 따라 결정하되,
    얼굴과 배경의 경계선이 나타나도록 인식된 얼굴 객체의 중심으로부터 일정 범위 픽셀까지에 대한 픽셀 크기의 평균값을 산출하는 것을 특징으로 하는 이미지에 포함된 객체의 선택적 비식별화 방법.
  7. 제 6 항에 있어서,
    상기 c) 단계는 비식별화 장치(100)가 c-1) 상기 추출된 비식별화 객체를 사람의 얼굴 객체 영역과, 그 외의 비식별화 객체 영역을 구분하는 단계;
    c-2) 상기 구분 결과, 사람의 얼굴 객체 영역이면 상기 비식별화 장치(100)가 사람의 얼굴 객체 영역의 크기를 추출하고, 상기 추출된 얼굴 객체 영역의 크기에 따라 얼굴 객체 영역의 비식별화를 위한 픽셀(Pixel) 크기를 조정하는 단계; 및
    c-3) 상기 비식별화 장치(100)가 사람의 얼굴 객체 영역을 조정된 픽셀 크기에 따라 비식별화 처리하는 단계;를 포함하는 것을 특징으로 하는 이미지에 포함된 객체의 선택적 비식별화 방법.
  8. 제 7 항에 있어서,
    c-4) 상기 구분 결과, 사람 얼굴 이외의 비식별화 객체 영역이면, 상기 비식별화 장치(100)가 사람의 얼굴 영역 이외의 비식별화 객체 영역에 대한 픽셀의 크기를 특정 값으로 설정하는 단계; 및
    c-5) 상기 비식별화 장치(100)가 사람의 얼굴 영역 이외의 비식별화 객체 영역을 상기 c-4) 단계에서 설정된 픽셀 크기에 따라 비식별화 처리하는 단계;를 더 포함하는 것을 특징으로 하는 이미지에 포함된 객체의 선택적 비식별화 방법.
  9. 삭제
KR1020200106125A 2020-03-06 2020-08-24 이미지에 포함된 객체의 선택적 비식별화 장치 및 방법 KR102341075B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200028520 2020-03-06
KR20200028520 2020-03-06

Publications (3)

Publication Number Publication Date
KR20210112991A KR20210112991A (ko) 2021-09-15
KR102341075B1 true KR102341075B1 (ko) 2021-12-20
KR102341075B9 KR102341075B9 (ko) 2022-06-10

Family

ID=77793447

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200106125A KR102341075B1 (ko) 2020-03-06 2020-08-24 이미지에 포함된 객체의 선택적 비식별화 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102341075B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023063772A1 (ko) * 2021-10-14 2023-04-20 (주)아모레퍼시픽 딥 러닝을 이용한 이미지 분석 기반의 피부 진단 시스템 및 방법
KR102470023B1 (ko) * 2021-11-12 2022-11-24 주식회사 만나통신사 실시간 라이브를 이용한 원격 대리탐방 서비스 제공 시스템
KR102436602B1 (ko) * 2021-12-30 2022-08-29 (주)와토시스 영상 데이터의 개인정보 비식별화 방법 및 장치
KR20240003529A (ko) 2022-07-01 2024-01-09 주식회사 코어트러스트 개인정보 비식별화 방법, 장치 및 프로그램

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016012752A (ja) * 2014-06-27 2016-01-21 株式会社 日立産業制御ソリューションズ 映像監視装置、映像監視システムおよび映像監視方法
KR101861520B1 (ko) 2017-03-15 2018-05-28 광주과학기술원 얼굴 비식별화 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100098122A (ko) * 2009-02-27 2010-09-06 삼성전자주식회사 영상 처리 방법 및 장치, 이를 이용한 디지털 촬영 장치
KR101936802B1 (ko) 2012-07-20 2019-01-09 한국전자통신연구원 얼굴인식 기반의 개인정보보호 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016012752A (ja) * 2014-06-27 2016-01-21 株式会社 日立産業制御ソリューションズ 映像監視装置、映像監視システムおよび映像監視方法
KR101861520B1 (ko) 2017-03-15 2018-05-28 광주과학기술원 얼굴 비식별화 방법

Also Published As

Publication number Publication date
KR102341075B9 (ko) 2022-06-10
KR20210112991A (ko) 2021-09-15

Similar Documents

Publication Publication Date Title
KR102341075B1 (ko) 이미지에 포함된 객체의 선택적 비식별화 장치 및 방법
US10769435B2 (en) Method of avoiding biometrically identifying a subject within an image
KR102299847B1 (ko) 얼굴 인증 방법 및 장치
EP3236391B1 (en) Object detection and recognition under out of focus conditions
CN107766831B (zh) 图像处理方法、装置、移动终端和计算机可读存储介质
CN109952594B (zh) 图像处理方法、装置、终端及存储介质
US8983202B2 (en) Smile detection systems and methods
US20160026781A1 (en) Ear biometric capture, authentication, and identification method and system
CN107818305A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
EP3644599B1 (en) Video processing method and apparatus, electronic device, and storage medium
US10108793B2 (en) Systems and methods for secure biometric processing
CN107862274A (zh) 美颜方法、装置、电子设备和计算机可读存储介质
CN112214773B (zh) 基于隐私保护的图像处理方法、装置和电子设备
EP3327623B1 (en) Biometric method
KR20160066380A (ko) 얼굴 등록 방법 및 장치, 얼굴 인식 방법 및 장치
JPWO2010044214A1 (ja) 顔認識装置および顔認識方法
CN111145086A (zh) 一种图像处理方法、装置及电子设备
WO2020018338A1 (en) Image acquisition method, apparatus, system, device and medium
Ilankumaran et al. Multi-biometric authentication system using finger vein and iris in cloud computing
CN111105368A (zh) 图像处理方法及其装置、电子设备和计算机可读存储介质
Halidu et al. PCA in the context of Face Recognition with the Image Enlargement Techniques
CN116311467A (zh) 一种基于人脸识别的身份验证处理方法及装置
CN110930338B (zh) 图像处理方法、图像处理装置、电子设备和计算机可读存储介质
Mr et al. Developing a novel technique to match composite sketches with images captured by unmanned aerial vehicle
CN112818728B (zh) 年龄识别的方法及相关产品

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]