KR20220027769A

KR20220027769A - 상황 적응적인 블로킹을 사용한 개인 정보 보호 방법

Info

Publication number: KR20220027769A
Application number: KR1020210109962A
Authority: KR
Inventors: 장석우
Original assignee: 안양대학교 산학협력단
Priority date: 2020-08-27
Filing date: 2021-08-20
Publication date: 2022-03-08
Also published as: KR102500516B1

Abstract

입력되는 여러 가지의 컬러 영상으로부터 배경(background) 부분을 제외하고 개인 정보를 포함하고 있는 대상 영역을 강인하게 검출한 다음, 주변의 상황에 적합한 블로킹(blocking) 방법으로 검출된 대상 영역을 보호하는, 상황 적응적인 블로킹을 사용한 개인 정보 보호 방법에 관한 것으로서, (a) 상기 입력 영상에서 목표 영역을 검출하는 단계; 및, (b) 상기 목표 영역을 블러링하여 블로킹하되, 상기 목표 영역의 상황 복잡도에 따라 블러링 정도를 달리하는 단계를 포함하는 구성을 마련하여, 영상 데이터에서 배경 부분을 제거하고 개인 정보를 포함하고 있는 대상 영역만을 검출하고 주변 상황에 적합한 블록킹을 수행함으로써, 기존의 방법에 비해 보다 정확하게 블로킹할 수 있고, 이를 통해, 개인 정보가 외부에 노출되는 것을 보호할 수 있다.

Description

상황 적응적인 블로킹을 사용한 개인 정보 보호 방법 { A protection method of privacy using contextual blocking }

본 발명은 입력되는 여러 가지의 컬러 영상으로부터 배경(background) 부분을 제외하고 개인 정보를 포함하고 있는 대상 영역을 강인하게 검출한 다음, 주변의 상황에 적합한 블로킹(blocking) 방법으로 검출된 대상 영역을 보호하는, 상황 적응적인 블로킹을 사용한 개인 정보 보호 방법에 관한 것이다.

특히, 본 발명은 영상 데이터로부터 배경 부분을 제거하고 개인 정보를 포함하고 있는 대상 영역만을 사람의 피부 색상을 기반으로 강인하게 분할하고, 주변의 상황에 적합하게 해당 영역의 블러링(blurring)을 적응적으로 선택하여 검출된 대상 영역을 효과적으로 블로킹함으로써 개인 정보가 외부에 노출되는 것을 보호하는, 상황 적응적인 블로킹을 사용한 개인 정보 보호 방법에 관한 것이다.

초고속의 유무선 네트워크 기능이 제공되어 발달된 인터넷은 많은 사람들에게 필요한 여러 가지의 정보를 언제 어디서나 손쉽게 제공해 주는 중요한 데이터 저장소의 역할을 수행한다[비특허문헌 1]. 따라서 사용자들은 인터넷을 통해 본인이 원하는 그림, 동영상, 텍스트, 음악 파일, 웹 문서 등을 용이하게 획득할 수 있게 되었다. 이처럼 인터넷은 사람들에게 유용한 기능을 제공하므로, 관련된 응용 분야에서 없어서는 안 되는 소중한 기술 중의 하나이다[비특허문헌 2]. 더욱이, 정보통신 기술이 급속히 발전하는 최근의 우리의 생활은 인터넷을 제외하고는 이야기할 수 없을 정도로 중요한 요인이 되었다.

그러나 사람의 얼굴, 주민등록번호, 아이디(ID), 패스워드, 통장계좌번호, 핸드폰 연락처 등과 같이 개인의 사적인 정보를 포함하고 있는 영상 콘텐츠도 인터넷을 통해서 손쉽게 획득될 수 있으므로 많은 사회적인 문제를 발생시킬 수 있다. 예를 들어, 본인의 의사와 무관하게 자신의 얼굴 영역이 촬영된 영상들이 유튜브에 업로드되어 배포될 수 있다. 또한, 자동차 유리창에 적힌 핸드폰 연락처가 촬영된 영상들이 자동으로 수집되어 스팸 문자 발송에 활용될 수도 있다.

그러므로 입력되는 다양한 종류의 영상 콘텐츠로부터 개인 정보가 포함된 영역을 자동으로 검출한 다음, 검출된 영역을 블러링이나 모자이크(mosaic) 처리와 같은 영상처리 기법을 사용하여 효과적으로 블로킹(blocking)하는 기술이 필요하다[비특허문헌 3]. 다시 말해, 이런 연구를 통해 일반인들에게까지 노출 가능한 특정인의 개인 정보를 효과적으로 보호할 수 있다.

입력되는 컬러 영상으로부터 목표로 하는 대상 영역을 검출하거나 블로킹하기 위한 기존의 기술은 관련된 문헌에서 확인할 수 있다. [비특허문헌 4]에서는 사전에 학습을 통해 생성한 타원형의 피부 모델을 사용해 받아들인 영상 데이터로부터 사람의 피부 영역만을 강건하게 추출하였다. 그리고 추출된 피부 영역의 형태 및 내부에 위치한 화소 값들의 분포를 분석하여 해당하는 영역이 노출된 신체의 부위인지를 판정하였다.

[비특허문헌 5]에서는 영상에서 블로킹 되어 있는 영역을 검출하기 위해 퍼지 군집화 기법을 사용하였다. 기존의 블록 기반의 모자이크 감지 알고리즘은 한자를 실제 모자이크 블록과 구별할 수 없다. 이를 해결하기 위해 해당 방법에서는 퍼지 c-평균 군집화 알고리즘을 기반으로 모자이크 블록을 검출하는 모자이크 블록 검출 방법을 제안하였다.

[비특허문헌 6]에서는 전역적이고 지역적인 특징을 사용해 실시간으로 얼굴을 감지하기 위해 제안(proposal) 생성 가속화 프레임워크를 소개하였다. 이 방법에서는 컨볼루션 뉴럴 네트워크 캐스케이드를 베이스 라인으로 사용하고, 추론 시간을 가속화하기 위한 가속 체계를 개발하였다.

[비특허문헌 7]에서는 조명 및 환경 조건을 고려한 상황에서 색상 정보를 이용하여 입력되는 컬러 영상으로부터 여러 가지의 색상 공간에서 인체의 피부 영역을 감지한다. 그런 다음, 검출된 피부 영역만을 선택적으로 암호화하여 영상에 표출함으로써 노출된 피부 영역이 외부로부터 보호될 수 있다. 앞에서 설명한 기법들 이외에도 목표로 하는 영역을 검출하거나 블로킹하기 위한 새로운 시도들이 계속해서 제안되고 있다[비특허문헌 8,9].

하지만 앞에서 기술된 기존의 방법들은 하나의 블로킹 방법만을 사용하여 목표 영역을 가린다. 따라서 주변의 상황을 전혀 고려하지 않고 블록 단위의 모자이크를 생성하여 목표 영역을 단순히 가리므로 부자연스러운 결과를 산출한다. 그리고 목표 영역을 블로킹하는 기존의 방법들은 다른 연구 방법들과 비교할 때 상대적으로 개수가 적다.

C.-T. Chang, C.-S. Tu, and J. Hajiyev, "Integrating Academic Type of Social Media Activity with Perceived Academic Performance: A Role of Task-Related and Non-Task-Related Compulsive Internet Use," Computers and Education, Vol.139, pp. 157-172, October 2019. DOI: https:// doi.org/10.1016/j.compedu.2019.05.011 P. Visu, L. Lakshmanan, V. Murugananthan, and M. V. Cruz, "Software-Defined Forensic Framework for Malware Disaster Management in Internet of Thing Devices for Extreme Surveillance," Computer Communications, Vol.147, pp. 14-20, November 2019. DOI: https://doi.org/ 10.1016/j.comcom.2019.08.013 R.-L. Hsu, M. Abdel-Mottaleb, and A. K. Jain, "Face Detection in Color Images," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 24, No. 5, pp. 696-706, May 2002. DOI: 10.1109/34.1000242 S.-W. Jang, Y.-J. Park, G.-Y. Kim, H.-I. Choi, and M.-C. Hong, "An Adult Image Identification System Based on Robust Skin Segmentation," Journal of Imaging Science and Technology, Vol. 55. No. 2, pp. 020508-1∼10, Mar. 2011. DOI: 10.2352/J.ImagingSci.Technol.2011.55.2. 020508 J. Liu, L. Huang, and J. Lin, "An Image Mosaic Block Detection Method Based on Fuzzy C-Means Clustering," In Proc. of the IEEE International Conference on Computer Research and Development (ICCRD), Vol.1, pp. 237-240, Mar. 2011. DOI: 10.1109/ICCRD.2011.5764011 H. Zhang, X. Wang, J. Zhu, C.-C. Jay Kuo, "Fast face detection on mobile devices by leveraging global and local facial haracteristics,"Signal Processing: Image Communication, vol. 78, pp. 1-8, October 2019. A. Shifa, M. B. Imtiaz, M. N. Asghar, and M. Fleury, "Skin Detection and Lightweight Encryption for Privacy Protection in Real-Time Surveillance Applications," Image and Vision Computing, Vol.94, Article 103859, February 2020. DOI: https://doi.org/10.1016/j.imavis.2019. 103859 H. Zhang, X. Wang, J. Zhu, and C.-C. Jay Kuo, "Fast Face Detection on Mobile Devices by Leveraging Global and Local Facial Characteristics," Signal Processing: Image Communication, Vol.78, pp.1-8, October 2019. DOI: https://doi.org/10.1016/ j.image.2019.05.016 R. Dahl, M. Norouzi, and J. Shlens, "Pixel Recursive Super Resolution," in Proceedings of the IEEE International Conference on Computer Vision (ICCV), pp. 5449-5458, October 2017. S. Lee, Y. Kwak, Y. J. Kim, S. Park, and J. Kim "Contrast-Preserved Chroma Enhancement Technique Using YCbCr Color Space," IEEE Transactions on Consumer Electronics, Vol. 58, No. 2, pp. 641-645, May 2012. DOI: 10.1109/TCE.2012. 6227471 S. Lou, X. Jiang, and P. J. Scott, "Algorithms for Morphological Profile Filters and Their Comparison," Precision Engineering, vol. 36, no. 3, pp. 414-423, July 2012. DOI: https://doi.org/10.1016/j.precisioneng.2012.01.003 L. He, X. Zhao, Y. Chao, and K. Suzuki, "Configuration-Transition-based Connected Component Labeling," IEEE Transactions on Image Processing, vol. 23, no. 2, pp. 943-951, February 2014. DOI: 10.1109/TIP.2013.2289968 S. Hayakawa and T. Suzuki, "On the Minimax Optimality and Superiority of Deep Neural Network Learning over Sparse Parameter Spaces," Neural Networks, vol. 123, pp. 343-361, March 2020. DOI: https://doi.org/10.1016/j.neunet.2019.12.014 W. Jiang, L. Wu, S. Liu, and M. Liu, "CNN-based two-stage cell segmentation improves plant cell tracking," Pattern Recognition Letters, vol. 128, pp. 311-317, December 2019, DOI: https://doi.org/10.1016/j.patrec.2019.09.017 Y.-D. Zhang, C. Pan, J. Sun, and C. Tang, "Multiple Sclerosis Identification by Convolutional Neural Network with Dropout and Parametric ReLU," Journal of Computational Science, vol. 28, pp. 1-10, September 2018. DOI: https://doi.org/10.1016 /j.jocs.2018.07.003 R. Zuo, Y. Xiong, J. Wang, and E. J. M. Carranza, "Deep Learning and Its Application in Geochemical Mapping," Earth-Science Reviews, vol. 192, pp. 1-14, May 2019. DOI: https://doi.org/10.1016/j.earscirev.2019.02.023 G. G. Chrysos, E. Antonakos, P. Snape, A. Asthana, and S. Zafeiriou, "A Comprehensive Performance Evaluation of Deformable Face Tracking in-the-Wild," International Journal of Computer Vision, vol. 126, mo. 2-4, pp. 198??232, April 2018. DOI: 10.1007/s11263-017-0999-5 R. Wang, W. Li, and L. Zhang, "Blur Image Identification with Ensemble Convolution Neural Networks," Signal Processing, vol. 155, pp.73-82, February 2019. DOI: https://doi.org/10.1016/j.sigpro.2018.09.027

본 발명의 목적은 상술한 바와 같은 문제점을 해결하기 위한 것으로, 영상 데이터로부터 배경 부분을 제거하고 개인 정보를 포함하고 있는 대상 영역만을 사람의 피부 색상을 기반으로 강인하게 분할하고, 주변의 상황에 적합하게 해당 영역의 블러링(blurring)을 적응적으로 수행하여 검출된 대상 영역을 블로킹 하는, 상황 적응적인 블로킹을 사용한 개인 정보 보호 방법을 제공하는 것이다.

즉, 발명의 목적은 입력되는 여러 가지의 컬러 영상으로부터 전경이 아닌 배경 부분을 제외하고 개인정보를 포함하고 있는 대상 영역을 강인하게 검출한 다음, 주변의 상황에 적합한 블로킹 방법으로 검출된 목표 영역을 적응적으로 보호하는, 상황 적응적인 블로킹을 사용한 개인 정보 보호 방법을 제공하는 것이다.

상기 목적을 달성하기 위해 본 발명은 입력영상을 대상으로 목표 영역을 블로킹하는 상황 적응적인 블로킹을 사용한 개인 정보 보호 방법에 관한 것으로서, (a) 상기 입력 영상에서 목표 영역을 검출하는 단계; 및, (b) 상기 목표 영역을 블러링하여 블로킹하되, 상기 목표 영역의 상황 복잡도에 따라 블러링 정도를 달리하는 단계를 포함하는 것을 특징으로 한다.

또, 본 발명은 상황 적응적인 블로킹을 사용한 개인 정보 보호 방법에 있어서, 상기 (a)단계는, (a1) 상기 입력 영상에서 피부 영역을 분할하는 단계; (a2) 오검출된 피부 영역에 대하여 후처리를 수행하는 단계; (a3) 상기 피부 영역에서 목표 영역을 검출하는 단계를 포함하는 것을 특징으로 한다.

또, 본 발명은 상황 적응적인 블로킹을 사용한 개인 정보 보호 방법에 있어서, 상기 (a1)단계에서, 상기 입력 영상의 RGB 컬러 공간에서 YCbCr 컬러 공간으로 변환하고, 변환된 YCbCr 컬러 공간을 대상으로, 타원 기반의 사람의 피부 색상 모델을 사용하여, 상기 입력 영상으로부터 배경 부분을 제외하고 인간의 피부 분포 영역을 검출하는 것을 특징으로 한다.

또, 본 발명은 상황 적응적인 블로킹을 사용한 개인 정보 보호 방법에 있어서, 상기 (a3)단계에서, 상기 피부 영역을 대상으로 서브 윈도우를 설정하고, 상기 서브 윈도우를 CNN 신경망에 입력하여 해당 서브 윈도우에 대해 얼굴 영역 여부를 탐지하되, 상기 입력 영상에서 설정되는 모든 서브 윈도우 각각에 대하여, 각 서브 윈도우를 신경망에 입력하여 해당 서브 윈도우가 얼굴 영역인지를 판단하는 것을 특징으로 한다.

또, 본 발명은 상황 적응적인 블로킹을 사용한 개인 정보 보호 방법에 있어서, 상기 (b)단계에서, 가우시안 함수를 이용하여, 상기 목표 영상에 대하여 블러링을 수행하되, 가우시안 함수의 표준편차를 상기 목표 영역의 상황 복잡도에 따라 설정하는 것을 특징으로 한다.

또, 본 발명은 상황 적응적인 블로킹을 사용한 개인 정보 보호 방법에 있어서, 상기 상황 복잡도는 상기 입력 영상의 밝기 특징과, 상기 목표 영상의 거리 특징의 가중화된 합을 이용하여 설정되는 것을 특징으로 한다.

또, 본 발명은 상황 적응적인 블로킹을 사용한 개인 정보 보호 방법에 있어서, 상기 상황 복잡도 Φ(α,β:t)는 다음 [수식 1]에 의해 설정하는 것을 특징으로 한다.

[수식 1]

단, α와 β는 사전에 정해지는 가중치이고, M과 N은 입력 영상의 가로와 세로의 길이이고, Y는 YCbCr 색상 공간의 Y 요소를 의미하고, MER_width와 MER_height는 목표 영역의 가로와 세로의 길이이고, t는 시점을 나타냄.

또, 본 발명은 상황 적응적인 블로킹을 사용한 개인 정보 보호 방법에 있어서, 상기 (b)단계에서, 상기 상황 복잡도의 크기에 반비례하여 상기 가우시안 함수의 표준편차를 설정하는 것을 특징으로 한다.

또, 본 발명은 상황 적응적인 블로킹을 사용한 개인 정보 보호 방법에 있어서, 상기 (b)단계에서, 상기 상황 복잡도가 사전에 정해진 제2 임계치 이상일 경우에는 사전에 정해진 제1 표준편차로 설정하고, 상기 상황 복잡도가 사전에 정해진 제1 임계치 이상이고 상기 제2 임계치 미만일 경우 사전에 정해진 제2 표준편차로 설정하고, 상기 복잡도가 상기 제1 임계치 미만일 경우 사전에 정해진 제3 표준편차로 설정하고, 상기 제2 임계치는 상기 제1 임계치 보다 크고, 상기 제3 표준편차는 상기 제2 표준편차 보다 크고, 상기 제2 표준편차는 상기 제1 표준편차 보다 크도록, 설정되는 것을 특징으로 한다.

또한, 본 발명은 상황 적응적인 블로킹을 사용한 개인 정보 보호 방법을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.

상술한 바와 같이, 본 발명에 따른 상황 적응적인 블로킹을 사용한 개인 정보 보호 방법에 의하면, 영상 데이터에서 배경 부분을 제거하고 개인 정보를 포함하고 있는 대상 영역만을 검출하고 주변 상황에 적합한 블록킹을 수행함으로써, 기존의 방법에 비해 보다 정확하게 블로킹할 수 있고, 이를 통해, 개인 정보가 외부에 노출되는 것을 보호할 수 있는 효과가 얻어진다.

특히, 인터넷을 통해 자료를 업로드하고 다운로드하는 것이 보편화되면서 개인 정보를 포함한 자료도 사용자들에게 쉽게 노출되고 있는 실정이다. 본 발명에 따른 방법은 영상 보안, 비디오 감시, 대상 물체 커버링 등과 같은 영상처리와 연관된 많은 유사한 분야에서 실제적으로 활용될 수 있다.

도 1은 본 발명을 실시하기 위한 전체 시스템의 구성을 도시한 도면.
도 2는 본 발명의 일실시예에 따른 상황 적응적인 블로킹을 사용한 개인 정보 보호 방법을 설명하는 흐름도.
도 3은 본 발명의 일실시예에 따른 피부 영역의 서브 윈도우에 대한 예시도.
도 4는 본 발명의 일실시예에 따른 NMS(non maximum suppression)를 적용하여 객체를 검출하는 방식을 예시한 도면.
도 5는 본 발명의 일실시예에 따른 서로 다른 시그마(σ)를 가지는 가우시안 함수들의 비교 그래프.
도 6는 본 발명의 일실시예에 따른 2차원 가우시안 함수에 대한 3차원 그래프.
도 7은 본 발명의 일실시예에 따른 주변의 상황에 따른 블러링의 강도 선택을 예시한 표.
도 8은 본 발명의 제1 실시예의 실험에 따른 목표 영역 검출(object detection)에 대한 예시도로서, (a) 입력 영상(Input image), (b) 피부 영역 영상(Skin pixel image), (c) 모폴로지 연산 적용 영상(Morphological operation), (d) 검출된 얼굴 영역(Detected face region)에 대한 예시도.
도 9는 본 발명의 제1 실시예의 실험에 따른 표준편차에 따른 영상 블러링(Image blurring)에 대한 예시도로서, (a) 입력 영상(Input image) (b) σ=1.0인 블러링(Blurring) 영상 (c) σ=3.0인 블러링(Blurring) 영상 (d) σ=5.0인 블러링(Blurring) 영상에 대한 예시도.
도 10은 본 발명의 제1 실시예의 실험에 따른 조명과 거리 특징에 따른 블러링의 강도 설정을 나타낸 표.
도 11은 본 발명의 제1 실시예의 실험에 따른 보호 방법의 정확도 척도를 나타낸 그래프로서, 정확도 비율(precision rate)에 대한 그래프.
도 12는 본 발명의 제1 실시예의 실험에 따른 보호 방법의 정확도 척도를 나타낸 그래프로서, 리콜 비율(recall rate)에 대한 그래프.
도 13은 본 발명의 제2 실시예의 실험에 따른 목표 영역 검출(object detection)에 대한 예시도로서, (a) 피부 영역 영상(Skin pixel image), (b) 검출된 얼굴 영역(Detected face region)에 대한 예시도.
도 14은 본 발명의 제2 실시예의 실험에 따른 영상 블러링(Image blurring)에 대한 예시도로서, (a) 입력 영상(Input image) (b) σ=0.5인 블러링(Blurring) 영상 (c) σ=1.0인 블러링(Blurring) 영상 (d) σ=2.0인 블러링(Blurring) 영상에 대한 예시도.
도 15은 본 발명의 제2 실시예의 실험에 따른 보호 방법의 성능 평가(Performance evaluation)를 나타낸 그래프.

이하, 본 발명의 실시를 위한 구체적인 내용을 도면에 따라서 설명한다.

또한, 본 발명을 설명하는데 있어서 동일 부분은 동일 부호를 붙이고, 그 반복 설명은 생략한다.

먼저, 본 발명을 실시하기 위한 전체 시스템의 구성의 예들에 대하여 도 1을 참조하여 설명한다.

도 1에서 보는 바와 같이, 본 발명에 따른 상황 적응적인 블로킹을 사용한 개인 정보 보호 방법은 영상(또는 이미지)(10)을 입력받아 상기 영상(또는 이미지)에 대하여 개인정보 영역 검출 및 블록킹을 수행하는 컴퓨터 단말(20) 상의 프로그램 시스템으로 실시될 수 있다. 즉, 상기 물체 영역 보호 방법은 프로그램으로 구성되어 컴퓨터 단말(20)에 설치되어 실행될 수 있다. 컴퓨터 단말(20)에 설치된 프로그램은 하나의 프로그램 시스템(30)과 같이 동작할 수 있다.

한편, 다른 실시예로서, 상황 적응적인 블로킹을 사용한 개인 정보 보호 방법은 프로그램으로 구성되어 범용 컴퓨터에서 동작하는 것 외에 ASIC(주문형 반도체) 등 하나의 전자회로로 구성되어 실시될 수 있다. 또는 입력 영상에서 개인정보 영역 검출 및 블록킹만을 전용으로 처리하는 전용 컴퓨터 단말(20)로 개발될 수도 있다. 이를 보호 시스템(30)이라 부르기로 한다. 그 외 가능한 다른 형태도 실시될 수 있다.

한편, 영상(10)은 시간상으로 연속된 프레임으로 구성된다. 하나의 프레임은 하나의 이미지를 갖는다. 또한, 영상(10)은 하나의 프레임(또는 이미지)을 가질 수도 있다. 즉, 영상(10)은 하나의 이미지인 경우에도 해당된다.

다음으로, 본 발명의 일실시예에 따른 상황 적응적인 블로킹을 사용한 개인 정보 보호 방법을 도 2를 참조하여 설명한다. 도 2는 본 발명에 따른 상황 적응적인 블로킹을 사용한 개인 정보 보호 방법에 대한 전체적인 흐름도를 보여준다.

도 2에서 보는 바와 같이, 본 발명에 따른 상황 적응적인 블로킹을 사용한 개인 정보 보호 방법은 입력 영상에서 목표 영역을 추출하는 단계(S10)와, 목표 영역에 블로킹을 하는 단계(S20)로 크게 구분된다.

세부적으로, 목표 영역 추출 단계(S10)는 입력 영상에서 피부 영역을 분할하는 단계(S11), 후처리를 수행하는 단계(S12), 피부 영역에서 목표 영역을 검출하는 단계(S13)로 구분된다. 또한, 블로킹 단계(S20)는 목표 영역의 상황 복잡도를 산출하는 단계(S21), 표준편차를 선택하는 단계(S22), 및, 목표 영상을 블로킹 하는 단계(S23)로 구성된다.

즉, 본 발명에 따른 방법에서는 먼저 입력되는 컬러 영상으로부터 배경 영역을 제외하고 개인 정보를 포함하고 있는 목표 영역만을 사람의 피부 색상과 딥러닝 방식을 기반으로 강인하게 분할한다(S10). 그런 다음, 주변의 상황에 적합하게 영상 블러링(blurring) 기법을 적응적으로 선택하여 검출된 목표 영역을 효과적으로 블로킹 한다(S20). 이를 통해 개인 정보가 외부에 노출되는 것을 보호할 수 있다.

먼저, 개인정보 영역(또는 목표 영역)을 추출하는 단계(S10)를 설명한다.

본 발명에서는 컬러 영상으로부터 배경에 해당하는 영역을 제외하고 사람의 피부 색상 영역만을 검출한다. 그런 다음, 검출된 피부 색상 영역으로부터 개인 정보를 가장 대표하는 사람의 얼굴 영역을 강인하게 추출한다. 따라서 입력 영상으로부터 얼굴 영역을 직접 검출하는 것보다, 피부 영역을 먼저 검출한 다음 검출된 피부 영역으로부터 얼굴 영역을 검출하는 것이 보다 안정적이며 효율적이다.

먼저, 사람의 피부 색상 분포 영역은 얼굴과 같이 개인 정보를 포함하는 신체의 구성요소를 검출하는데 매우 유용한 정보를 제공하므로, 대상 객체의 블로킹에 관한 기술에서는 반드시 포함되어야 하는 요소기술 중의 하나이다. 즉, 영상 데이터에 들어있는 얼굴 영역은 영상에 중요한 의미를 제공할 수 있는 개인 정보에 해당하므로, 입력된 영상으로부터 개인 정보를 대표하는 인간의 얼굴 부분을 강인하게 검출한다. 그런 다음, 검출된 얼굴 영역을 정확하게 블로킹하는 기술이 필요하다. 보통 사람의 피부 영역을 검출하는 처리는 영상의 내부에 존재하는 객체에 대한 분할과 인식에 관한 딥러닝(deep learning) 기술이 발전되고 있음에도 불구하고 해결하기 매우 힘든 분야이다.

구체적으로, 입력 영상에서 피부 영역을 분할하는 단계(S11)를 설명한다.

RGB 색상 공간으로 형성된 입력 영상을 피부 색상 추출에 적합하다고 알려진 YCbCr 색상 공간으로 변경한다[비특허문헌 10]. YCbCr 색상 공간은 최신 디스플레이 장치의 영상 시스템에서 사용되는 색상 공간으로, RGB 정보를 인코딩하는 방식 중의 하나이다. RGB 컬러 공간을 YCbCr 컬러 공간으로 변환하기 위해서는 스케일링과 오프셋 조정(감마 조정) 단계를 거치는데, 수학식 1을 사용해 변환 가능하다.

[수학식 1]

수학식 1에서 Y의 값은 광원의 단위 면적에서 단위 입체각으로 발산하는 빛의 양, 다시 말해 광원의 단위 면적당 광도인 휘도이며, Cb와 Cr은 채널 색도 위도에 대응하여 색상과 포화도로 구분되는 크로마(chrominance)로, Cb는 파란색에서 밝기를 뺀 성분이고, Cr은 빨간색에서 밝기를 뺀 성분 값이다.

여기서 K_B, K_R, K_G의 합은 1이 되며 ITU-R BT.709 표준을 8비트 기준으로 변경하면 K_B는 0.144, K_R은 0.299, K_G는 0.587로 정의될 수 있다. K_B, K_R, K_G은 각각 색상 B(blue)대한 가중치, 색상 R(red)대한 가중치, 색상 G(green)대한 가중치이다.

또한, R, G, B는 각각 RGB 컬러 공간이다. 수학식 1에서 프라임(') 기호는 비선형 전달 함수를 이용하여 빛의 신호를 비선형적으로 변형해 주는 감마 보정이 되었다는 것을 의미한다. 수학식 1을 사용하여 RGB 컬러 공간을 YCbCr 컬러 공간으로 변환하면 Y의 값은 16~255, 그리고 Cb와 Cr 값은 16~240 사이의 값을 갖는다.

입력 영상의 색상 공간을 YCbCr으로 변경한 다음에는 사전에 학습을 통해 정의된 타원형의 모델(elliptical model)을 사용해 만든 인간의 피부 색상 분포 모델을 이용한다. 즉, 타원 기반의 사람의 피부 색상 모델을 사용해, 입력 영상으로부터 배경 영역을 제외하고 인간의 피부 분포 영역만을 정확하게 검출한다. 즉, 피부 색상 분포 화소들만을 강인하게 추출한다.

다음으로, 오 검출된 영역에 대한 후처리를 수행한다(S12). 보통 오 검출된 영역은 비슷한 색상을 가지거나 완벽하게 제거되지 않은 다수의 잡음으로 인해 발생할 수 있는데, 본 발명에서는 열림(opening) 모폴로지(morphological) 연산자[비특허문헌 11]를 적용하여 제거하거나 축소시킨다.

침식(erosion) 연산자는 일정 영역 안에 있는 화소의 값들을 비교하여, 이중 제일 작은 값으로 나머지 영역을 채우는 연산자를 의미하는데, 해당 연산자는 식 2와 같이 동작한다. 그리고 확장(dilation) 연산자는 침식(erosion) 연산자와 완전히 반대로 동작한다. 즉, 일정 영역 안에 있는 화소의 값들을 비교하여 그중 제일 큰 값으로 나머지 영역을 채운다. 확장(dilation) 연산자는 식 3과 같이 동작한다.

수학식 2와 3은 열림 연산에 필요한 침식(erosion) 연산과 확장(dilation) 연산을 나타낸다.

[수학식 2]

[수학식 3]

수학식 2와 3에서, src(x,y)와 dst(x,y)는 각각 소스(source) 영상 및, 결과 영상(목적 영상)을 나타낸다. 특히, src(x+x',y+y')은 침식(erosion) 연산과 확장(dilation) 연산을 적용할 영상의 해당 영역을 나타낸다.

x, y는 소스 영상의 (x, y) 좌표를 나타내는 인덱스이고, (x',y')은 모폴로지 연산을 수행하기 위해 사용되는 구조화 요소 element(x',y')의 구성요소이다. ≠0은 구조화 요소의 구성요소의 값이 0이 아니라 1이라는 의미한다.

그리고 min 연산은 소스 영상의 (x, y) 위치의 값과 구조화요소의 (x', y') 위치의 값이 모두 1일 때 목표 영상의 값이 1이 된다는 의미이다. 여기에서 구조화 요소는 일반적인 영상처리에서 마스크 또는 윈도우와 유사하게 이동하면서 동작한다.

또한, max 연산은 소스 영상의 (x, y) 위치의 값과 구조화 요소의 (x', y') 위치의 값에 하나라도 1이 있다면 목표 영상의 값이 1이 된다는 것을 의미한다.

열림 연산자는 이 두 연산자를 결합한 연산자로 침식(erosion) 연산자를 적용한 다음 확장(dilation) 연산자를 적용한다. 다시 말해, 피부 영역이 검출된 이진 영상에서 잡음과 오 검출된 영역은 비교적 작은 공간을 차지한다. 이때 침식(erosion) 연산자를 통해 해당 영역을 0으로 채워준다. 보통 침식(erosion) 연산자를 적용한 후에는 원래 피부 영역도 축소가 되는데 이 부분을 확장(dilation) 연산자를 통해 복구한다. 마지막으로, 열림 모폴로지 연산자가 적용된 결과 영상을 레이블링(labeling)[비특허문헌 12]하여 최종적인 사람의 피부 색상 영역을 추출한다.

다음으로, 피부 영역에서 목표 영역을 검출하는 단계(S13)를 설명한다.

입력된 컬러 영상으로부터 피부 색상 분포 영역을 검출한 다음에는, 검출된 피부 영역으로부터 인공적인 심층 신경망(deep neural network)[비특허문헌 13]을 사용해 사람의 얼굴 영역만을 강인하게 추출한다. 본 발명에서는 CNN(convolutional neural network) [비특허문헌 14] 기반의 딥러닝 알고리즘을 사용한다.

이때, 도 3에서 보는 바와 같이, 피부 영역을 대상으로 서브 윈도우를 설정하고, 서브 윈도우를 CNN 신경망에 입력하여 해당 서브 윈도우에 대해 얼굴 영역 여부를 탐지한다. 입력 영상에서 설정되는 모든 서브 윈도우 각각에 대하여, 각 서브 윈도우를 신경망에 입력하여, 해당 서브 윈도우가 얼굴 영역인지를 판단한다.

본 발명에서 사용하는 CNN 모델은 특징 맵을 생성하는 전처리 단계가 성능에 중요한 영향을 주기 때문에, 전처리 단계에서 가장 좋은 특징 맵을 추출하는 콘볼루션(convolution) 필터를 학습하는 모델을 만드는 것이 핵심이다. 그리고 실시간으로 입력되는 영상에서 빠른 속도로 목표 객체를 검출할 수 있도록 학습 단계에서 영상을 피라미드 구조로 입력하여 학습을 진행한다.

본 발명에서 사용하는 CNN 기반의 알고리즘에서 영상 피라미드는 6단계로 형성되고, 마지막으로 검출할 때에는 피라미드 단계별로 각각의 검출 결과를 합산하여 최종적인 결과물을 산출한다. 다시 말해, 영상 피라미드에서 수준 0은 원래의 입력 영상(또는 컬러 영상)을 의미하고, 수준이 높아질수록 1/2ⁿ 배로 영상의 해상도가 줄어든다. 그리고 활성화(activation) 함수는 시그모이드(sigmoid) 함수 대신 ReLU(Rectified Linear Unit) 함수[비특허문헌 15]를 이용한다.

본 발명에서 이용하는 딥러닝 모델에서 어파린(affine) 레이어는 이전 레이어의 각 뉴런들이 현재 레이어의 각 뉴런들에 연결되어 있다는 것을 의미한다. 어파인 레이어는 CNN의 가장 상위 출력단에서 최종적인 예측을 수행하기 이전에 추가되어진다[비특허문헌 16]. 보통, 어파인 레이어는 y=f(Wx+b)의 형태로 표현되는데, f는 비선형 활성화 함수, W는 가중치, x는 입력 레이어, b는 바이어스를 의미한다.

즉, 본 발명의 CNN 모델에서 MMOD(max-margin object detection)는 서브 샘플링을 수행하지 않고, 모든 서브 윈도우를 최적화한다. 즉, 모든 서브 윈도우에 대해 윈도우 스코어링(scoring) 함수인 F(x, y)를 적용하여 객체를 검출한다[비특허문헌 17].

[수학식 4]

여기서, y^*은 딥러닝을 사용해 추출한 최종적인 대상 객체를 나타내는 라벨(labels)을 의미한다. 즉, 가장 큰 점수(score)를 가진 이동하는 윈도우 위치(sliding window positions)의 집합을 나타낸다. Y는 전체적인 라벨(label) 집합을 나타내며, y는 이 중에서 하나의 라벨(label)을 나타내는 인덱스이다. φ는 영상 x의 이동하는 윈도우 위치 r로부터 추출된 특징 벡터이다. w는 가중치(weight) 벡터로서 학습을 통해서 오 검출을 감소시키는 역할을 수행한다.

수학식 4를 적용하면 검출 점수(detection score)에 해당하는 결과를 획득한다. 마지막으로 피라미드 영상에서 가장 높은 점수를 산출한 영역을 합산하여 최종적인 객체 검출의 위치를 획득한다.

검출 점수(detection score)는 CNN의 최종 손실 레이어(LOSS layer)에서 부여되고, 위의 식은 각 윈도우별로 나오는 점수(score)가 있을텐데, NMS(non maximum suppression)를 적용하여 최종적인 객체(object)를 검출하는 방식이다. 예를 들어, 도 4에서 가운데 윈도우(7)를 남기고 양옆의 윈도우(6)를 제거하여 최종 객체(object)를 검출한다.

다음으로, 상황 적응적 객체 블로킹 단계(S20)를 설명한다.

본 발명에서는 이전 단계에서 타원형의 피부 색상 분포 모델과 인공적인 심층(deep) 신경망 학습을 통해서 강인하게 검출한 개인 정보를 포함한 목표 영역을 효과적으로 가리기 위해서 영상 블러링 기법을 주어진 상황에 따라 선택적으로 적용하여 해당 영역을 블로킹한다. 따라서 다양한 종류의 컬러 영상 콘텐츠 내에 포함된, 사람의 얼굴과 같이 본인이 원하지 않는 특정인의 개인 정보가 인터넷을 통해 자유롭게 노출되고 배포되는 것을 효과적으로 방지할 수 있다.

먼저, 본 발명에서는 가우시안 함수를 이용하여 개인 정보에 해당하는 영역을 블러링한다. 보통 블러링이나 저주파 공간 필터링은 한 영상의 세세한 부분을 제거한다. 이 방식은 여러 가지의 응용 분야에서 매우 많이 사용되고 있으며, 때로는 카메라의 초점을 흐리게 하거나 배경을 약화시키고자 할 때 사용된다.

영상 블러링은 회선(convolution)을 통해 수행된다. 일반적인 블러링 마스크에서의 모든 회선 계수들은 같은 값을을 가진다. 예를 들어, 3×3 마스크에서의 모든 원소들은 1/9의 값을 가지며, 5×5 마스크에서는 1/25로 동일한 값을 가진다. 블러링은 이웃 화소들과 평균한 결과라는 것을 회선 마스크가 가진 가중치로부터 쉽게 알 수 있다. 블러링에 사용되는 마스크가 크면 클수록 블러링의 효과는 커지며 계산 시간도 증가한다. 영상에서 블러링을 사용하는데 있어서의 단점은 물체의 경계 부분이 모호해진다는 것이다.

본 발명에서 사용하는 가우시안 함수를 이용한 블러링[비특허문헌 18]은 대표적인 영상 블로킹 방법 중의 하나이다. 일반적으로 가우시안(Gaussian) 함수는 현재의 화소 값과 주변에 이웃하고 있는 화소 값들의 가중적인 평균을 이용하여 현재 화소의 값을 대체한다. 따라서 개인 정보가 노출된 목표 영역에 가우시안 함수를 이용한 영상 블러링을 적용하면 목표 영역 주변에 위치한 영역과 이질감이 비교적 적은 블로킹 결과를 얻을 수 있다.

보통 가우시안 분포(또는 가우시안 함수)는 평균을 중심으로 좌우 대칭인 종 모양의 형태로 분포가 줄어드는 형태를 취한다. 평균이 0이고, 표준편차가 σ인 1차원의 가우시안 분포를 함수식으로 나타내면 수학식 5와 같다.

[수학식 5]

그리고 표준편차인 σ가 각각 0.5와 2.0인 경우의 가우시안 그래프는 도 5와 같은 형태를 취한다. 평균이 0인 가우시안 함수이기 때문에 x가 0인 위치에서 가우시안의 값이 가장 크게 나타나며, x가 0에서 멀어질수록 가우시안 함수의 값이 점점 감소한다. 또한 가우시안 함수의 표준편차 값이 작을수록 그래프가 보다 뾰족한 곡선을 이루고, 가우시안 함수의 표준편차가 증가할수록 그래프가 보다 완만한 곡선을 구성한다.

또한, 영상에 적용할 2차원의 좌표 공간에서 평균이 (0, 0)인 가우시안 함수는 수학식 6과 같이 정의된다.

[수학식 6]

도 6은 σ가 1인 경우의 2차원 가우시안 함수 그래프이다. 도 6에서 확인할 수 있듯이, 2차원 가우시안 함수의 그래프도 1차원 가우시안 함수와 마찬가지로 (0, 0)에서 평균이 가장 큰 값을 가지고 있으며, (0, 0)에서 멀어질수록 종 모양으로 점차 감소하는 곡선의 형태를 이루고 있다.

식 6에서 σ는 가우시안 블러링 마스크의 폭을 조절하는 파라미터 역할을 수행한다. 그러므로 σ의 값은 마스크의 크기에 영향을 미친다. 일반적으로 마스크는 0이 아닌 값을 포함하기 위해 충분히 클 필요가 있다. 예를 들어, σ가 2일 때 15×15 화소 크기의 마스크가 필요하며, σ가 3일 때 23×23 화소 크기의 마스크가 요구된다.

회선(convolution) 마스크에 대한 블러링 함수를 변환하기 위해서는 마스크의 중심을 0으로 하고 좌표를 계산한다. 예를 들어, 3×3 마스크에 대해서는 x, y축의 좌표로서 (-1,-1), (0,-1), (1,-1), (-1,0), (0,0), (1,0), (-1,1), (0,1), (1,1)을 사용한다.

따라서 위와 같은 마스크에 대해 (x, y) 위치별로 수학식 6에 (x, y)를 대입하여 마스크 내의 요소의 값(해당 가우시안 함수의 값)들을 각각 계산한다. 그런 다음, 계산된 가우시안 마스크를 블러링하고자 하는 해당 얼굴 영역의 색상 (r, g, b) 값들과 회선(convolution)하여 새로운 (r, g, b) 값을 산출하면 블러링 효과를 발생시킬 수 있다.

한편, 본 발명에서는 목표 영역에 대한 블러링 적용시 고정된 표준편차를 사용한 가우시안 함수를 적용하지 않고, 주변의 상황에 따라 표준편차를 가변적으로 적용한 가우시안 함수를 적용한다.

가변적으로 적용하는 방식은 다음 2가지이다.

먼저, 1번째 방식의 실시예(제1 실시예)에 대하여 설명한다.

본 발명에서는 목표 영역에 대한 블러링 적용시 고정된 표준편차를 사용하는 가우시안 함수를 적용하지 않고, 주변의 상황에 따라 표준편차를 가변적으로 설정하는 가우시안 함수를 적용한다. 이를 위해, 본 발명에서는 식 7과 같은 주변 상황의 복잡도 척도를 밝기 특징과 거리 특징의 가중화된 합을 이용하여 정의한다. 특히, 상황 복잡도는 입력 영상의 밝기 특징과, 목표 영상의 거리 특징의 가중화된 합을 이용하여 설정된다.

[수학식 7]

수학식 7에서, F_bright는 영상의 밝기 특징을 나타내고, F_depth는 목표 영역이 카메라로부터 위치한 거리 특징을 나타낸다. 본 발명에서 F_bright와 F_depth는 모두 0에서 1사이의 값으로 정규화되어 정의된다. 또한, ∥∥는 F_bright()의 최대 크기를 계산하는 연산자를 나타낸다.

α와 β는 각 항의 중요한 정도를 의미하는 가중치 요소를 나타낸다. M과 N은 입력 영상의 가로와 세로의 길이를 나타내며, Y는 YCbCr 색상 공간의 Y 요소를 의미한다.

그리고 MER_width와 MER_height는 검출된 목표 영역 MER(minimum enclosing rectnagle)의 가로와 세로의 길이를 의미한다. 본 발명에서는 목표 객체가 위치한 정확한 위치를 측정하기가 현실적으로 어려우므로, 검출된 목표 영역의 넓이를 계산하여 거리 정보로 활용한다. 다시 말해, 만일 검출된 목표 영역의 면적이 크면 카메라로부터 목표 영역까지의 거리가 멀다고 해석하고, 목표 영역의 면적이 작으면 거리가 가깝다고 해석한다.

또한, t는 시점 t를 나타낸다. 영상은 시간상 연속된 영상일 수 있다. t는 연속된 영상에서의 시점을 나타낸다.

[수학식 8]

여기서, TH1, TH2는 사전에 정해진 제1 및 제2 임계치이고, TH2는 TH1 보다 크도록 설정된다.

본 발명에서는 식 7을 이용해 주변 상황의 복잡도 척도를 추출한 다음에는, 식 8과 같은 규칙을 정의해 목표 영역을 블러링할 강도를 적응적으로 선택한다. 즉, Φ(α,β:t)가 TH2 이상일 경우에는 약한 블러링이 수행되고, Φ(α,β:t)가 TH1 이상이고 TH2 미만일 경우에는 중간 블러링이 수행되며, Φ(α,β:t)가 TH1 미만일 경우에는 강한 블러링이 수행된다. 그리고 본 발명에서 Φ(α,β:t)를 정의하기 위해 사용된 가중치 요소 α와 β의 값은 반복적인 실험을 통해 경험적으로 결정된다.

한편, 다른 실시예로서, 상기 상황 복잡도의 크기에 반비례하여 상기 가우시안 함수의 표준편차를 설정할 수 있다.

주변 상황의 복잡도 척도와 임계치를 이용하여 정의된 규칙을 통해 블러링의 강도를 적응적으로 설정하는 방식은, 도 7의 표와 같이, 추출된 두 가지 특징의 많고 적음에 따라서 해당하는 블러링의 강도를 선택하는 방식으로도 유사하게 설명될 수 있다. 예를 들어, 목표 물체가 카메라로부터 멀리 떨어져 있을 경우에는 물체의 윤곽이 분명하게 보이지 않으므로 약한 블러링을 적용해도 괜찮지만, 반대로 물체가 카메라 가까이에 위치할 경우에는 물체의 윤곽이 선명하게 보이므로 강한 블러링을 적용하여 개인 정보를 효과적으로 보호하고자 한다. 본 발명에서 약한 블러링, 중간 블러링, 강한 블러링은 가우시안 함수의 σ가 각각 1.0, 3.0, 5.0인 경우를 의미한다.

다음으로, 2번째 방식의 실시예(제2 실시예)는 목표 영역의 크기에 따라 달리 설정한다.

즉, 가우시안 함수의 표준편차를 목표 영역의 크기에 따라 설정한다. 바람직하게는, 상기 표준편차 σ를 목표 영역의 크기에 비례하여 설정한다. 보통, 목표 물체가 카메라로부터 멀리 떨어져있는 경우에는 검출되는 물체의 크기가 비교적 작으며, 물체가 명확하게 보이지 않으므로 σ값을 줄여 블러링한다. 즉, 물체가 멀리 있어서 상대적으로 분명하게 보이지 않으므로 상대적으로 약하게 블러링(또는 왜곡)하여도 목표 물체가 노출되지 않는다. 반대로, 목표 물체가 카메라로부터 근접하게 위치한 경우에는 검출되는 물체의 크기가 비교적 크며, 물체가 명확하게 보이므로, σ값을 상대적으로 높여 블러링한다. 즉, 물체가 가까이에 있어서 상대적으로 분명하게 보이므로 상대적으로 강하게 블러링(또는 왜곡)하여야 목표 물체가 노출되지 않는다.

본 발명에서는 고정된 값이 아닌 검출된 개인 정보를 포함한 영역의 크기 P_w에 따라서 수학식 9를 통해 가변적으로 적용된다. 즉, 본 발명에서는 검출된 목표 영역의 크기가 커질수록 보다 큰 값을 사용하며, 목표 영역의 크기가 작아질수록 보다 작은 값(가우시안 함수의 표준편차 σ)을 사용해 영상 블러링을 수행한다.

[수학식 9]

여기서, P_w는 목표 영역인 검출된 얼굴 영역의 가로 화소 수, 즉 폭(width)을 의미한다. α는 사전에 정해진 상수로서, 바람직하게는, 영상을 이용한 반복적인 실험을 통해서 결정된다. α는 적용되는 환경이나 도메인에 맞게 조절될 수 있는 파라미터이다. 바람직하게는, α를 0.1로 설정한다.

다시 말해, 대상 물체가 카메라로부터 멀리 떨어져있는 경우에는 물체가 명확하게 보이지 않으므로 σ값을 줄여 블러링하고, 대상 물체가 카메라로부터 근접하게 위치할 경우에는 물체가 명확하게 보이므로 σ값을 높여서 강하게 블러링함으로써 물체 영역을 효과적으로 보호할 수 있다.

또한, 딥러닝 신경망의 출력으로 나오는 사각형 영역에 대해 블러링을 수행한다. 즉, 딥러닝을 통해 찾아진 얼굴에 해당하는 사각형 영역에 대해 블러링한다.

다음으로, 실험을 통한 본 발명의 제1 실시예의 효과를 도 8 내지 도 12를 참조하여 보다 구체적으로 설명한다.

본 발명의 제1 실시예에 대한 실험을 위해 이용한 개인용 컴퓨터는 인텔 Core(TM) i7-6700 3.4 GHz의 CPU와 16GB의 메인 메모리, 256GB인 SSD, 그리고 NVIDIA의 GPU GP104가 장착된 갤럭시 Geforce GTX 1080 Ti 그래픽 카드를 장착하고 있다. 그리고 사용된 컴퓨터에는 마이크로소프트사의 윈도우 10 운영체제(operating system)가 설치되었다. 또한, 통합 개발 환경으로는 마이크로소프트사의 비주얼 스튜디오(Microsoft Visual Studio) 버전 2015가 이용되었으며, OpenCV 오픈 소스 컴퓨터 비전 라이브러리 및 Dlib C++ 라이브러리를 이용해 제안된 블로킹 알고리즘을 개발하였다. 본 발명에서는 개인 정보가 노출된 여러 가지 종류의 정지 및 동영상 데이터를 수집하여 제안된 알고리즘의 성능을 비교 평가하는데 사용하였다.

본 발명의 딥러닝 알고리즘에서 설정된 러닝 레이트(learning rate)는 0.1에서 시작하여 0.0001까지 순차적으로 감소시켜 이용하였다. 그리고 딥러닝 모델의 레이어 개수는 21개를 사용하였으며, 얼굴 정규화 크기는 40×40 화소를 이용하였다. 또한 활성 함수(activation function)은 ReLU를 사용하였으며, 6단계의 영상 피라미드를 생성하여 제안된 딥러닝 기반의 객체 검출 알고리즘의 입력으로 이용하였다.

도 8(a)는 개인 정보를 대표하는 사람의 얼굴 영역이 포함된 입력된 컬러 영상의 한 예를 보여준다. 도 8(b)는 사전에 학습된 타원형의 피부 색상 분포 모델을 이용해 입력된 영상으로부터 피부 색상 화소만을 검출한 결과를 보여준다. 도 8(c)는 검출된 피부 영역에 모폴로지(morphological) 연산을 적용하여 잡음을 제거한 다음 획득한 영상을 보여준다. 도 8(d)는 추출된 피부 영역으로부터 딥러닝을 적용하여 최종적으로 추출한 사람의 얼굴 영역을 보여준다. 도 8(d)에서 사각형의 박스는 검출된 얼굴 영역을 표시하고 있는데, 본 발명에 따른 방법이 비교적 정확하게 얼굴 영역을 검출했음을 확인할 수 있다.

도 9는 다른 입력 영상을 제안된 방법에 적용한 결과를 보여준다. 도 9(a)는 사람의 얼굴 영역이 포함된 입력 영상을 보여준다. 도 9(b)는 입력된 영상으로부터 딥러닝을 적용하여 얼굴 영역을 검출한 다음, 검출된 얼굴 영역만을 σ를 1로 설정하여 가우시안 블러링 처리한 결과를 보여준다. 도 9(c)와 도 9(d)는 σ를 3과 5로 설정하여 생성한 가우시안 블러링을 검출된 얼굴 영역에 각각 적용하여 개인 정보에 해당하는 영역을 블로킹한 결과 영상의 예를 보여준다.

도 10의 표는 주변의 상황에 존재하는 조명과 거리의 정도에 따라서 제안된 목표 영역 블로킹 알고리즘이 적응적으로 선택하는 블러링의 종류를 전체적으로 보여준다. 도 10의 표에서 WB는 약한 블러링을, MB는 중간 블러링을, 그리고 SB는 강한 블러링을 나타낸다.

본 발명에서는 제안된 인공적인 딥러닝 알고리즘을 사용하여 개인 정보를 포함하고 있는 대상 객체의 주변 상황에 따른 블록킹 방법의 성능을 정략적으로 비교 및 평가하기 위해서 식 10 및 식 11과 같은 정확도 척도를 사용하였다. 식 10 및 식 11에서 O_TP는 정확하게 블로킹한 대상 객체 영역의 개수를 나타내고, O_FP는 대상 객체 영역은 아니지만 대상 객체 영역이라고 잘못 블로킹한 대상 영역의 개수를 나타하며, O_FN은 대상 객체 영역이 존재하는데 블로킹하지 못한 객체 영역의 개수를 나타낸다. 그리고 식 10에서 Φ_precision은 입력 영상으로부터 검출된 전체 대상 객체 영역 중에서 정확하게 블로킹된 객체 영역의 상대적인 비율을 의미한다. 식 11에서 Φ_recall은 입력 영상에 실제로 존재하는 전체 대상 객체 영역 중에서 정확하게 블로킹된 객체 영역의 상대적인 비율을 의미한다.

[수학식 10]

[수학식 11]

본 발명에서는 개인 정보가 노출된 대상 객체 블로킹 방법의 성능을 정확도 측면에서 비교 평가하기 위해서 기존의 피부 색상 분포 모델 기반의 블로킹 방법, 일반적인 학습 기반의 단일 레벨 블로킹 방법, 그리고 딥러닝 기반의 제안된 다단계 블로킹 방법을 평가하였다.

도 11과 도 12는 식 10와 식 11을 통해서 얻은 제안된 블로킹 방법의 정확도 측정 결과를 그래프로 보여주고 있다. 도 11과 도 12에서 확인할 수 있듯이 딥러닝을 기반으로 대상 객체 영역을 블로킹하는 본 발명의 방법이 오 검출을 줄여주므로 보다 정확하게 개인정보 영역을 블로킹한다는 것을 확인할 수 있다. 그리고 본 발명에 따른 방법은 주변의 상황에 적합하게 대상 객체 영역을 다단계로 블로킹하므로 보다 유연하게 동작한다.

위에서 언급한 세 가지의 방법 중에서 사람의 피부 색상 분포 모델만을 이용하는 기존의 블로킹 방법은 상대적으로 정확도가 가장 낮았는데, 다른 특징을 고려하지 않고 색상 특징만을 사용하여 대상 물체를 검출하므로 오 검출이 많이 발생하였다. 즉, 잡음이나 조명이 변화하는 실내외의 다양한 환경에서 촬영된 입력 영상에서 물체 영역을 색상 특징만을 사용하여 강인하게 검출하기에는 한계가 존재하였다. 일반적인 학습 기반의 단일 수준 블로킹 방법은 학습이 충분히 수행되지 않아 대상 물체 검출에 오류가 일부 발생하였으나 첫 번째 방법보다는 정확도 성능이 다소 우수하였다. 그러나 하나의 블록킹 방법만을 사용하여 개인 정보 영역을 가리므로 블로킹의 유연성이 상대적으로 낮았다. 마지막으로, 본 발명에 따른 방법은 딥러닝을 기반으로 대상 물체를 검출하므로 물체 검출 알고리즘의 정확도가 가장 높았다. 그리고 제안된 방법은 검출된 객체 영역을 단일 단계가 아니라 다단계로 블로킹하므로 블로킹의 유연성 및 효과성이 세 가지의 방법 중에서 가장 높았다. 그러나 제안된 방법도 조명의 갑작스러운 변화가 발생할 경우에는 물체 검출에 오류가 일부 발생하였다.

다음으로, 실험을 통한 본 발명의 제2 실시예의 효과를 도 13 내지 도 15를 참조하여 보다 구체적으로 설명한다.

본 발명에서 실험을 수행하기 위해 이용한 PC는 인텔 Core(TM) i7-6700 3.4 GHz의 CPU, 16GB의 메모리, 256GB인 SSD, NVIDIA GPU GP104가 설치된 Galaxy Geforce GTX 1080 Ti 그래픽 카드로 이루어져 있다. 그리고 개인용 컴퓨터에는 윈도우 10 운영체제가 설치되었다. 또한, 응용 프로그램의 개발 도구로는 비주얼 C++ 버전 2015가 이용되었으며, 본 발명에서 제시된 알고리즘을 구현하기 위해 OpenCV 컴퓨터 비전 라이브러리가 사용되었다.

도 13(a)는 입력된 영상으로부터 피부 색상 화소를 추출한 결과 영상의 예를 보여준다. 그리고 도 13(b)는 추출된 피부 영역으로부터 얼굴 영역을 찾고, 찾아진 영역의 MER를 보여주고 있다.

도 14(a)는 얼굴 영역이 노출되어 있는 사람을 포함하고 있는 장면을 촬영한 입력 영상의 한 예를 보여준다. 도 14(b)는 타원형의 피부 색상 분포 모델과 인공적인 심층 신경 학습을 이용하여 사람의 얼굴 영역을 강인하게 검출하고, 검출된 얼굴 영역을 σ를 0.5로 설정한 다음 블러링을 사용하여 효과적으로 블로킹한 결과 영상을 보여준다. 도 14(c)과 도 14(d)는 σ=1과 σ=2인 경우의 가우시안 블러링을 수행한 결과를 각각 보여준다.

본 발명에서는 제시된 목표 영역의 다단계 블로킹 방법의 성능을 정확도 측면에서 정량적으로 분석하였다. 본 발명에서는 받아들인 영상에서 강인하게 추출되고 영상 블러링된 목표 영역들의 개수와, 전체 영상 콘텐츠에 포함되어 있는 목표 영역과의 개수와의 비율로 정의된 수학식 12와 같은 척도를 이용하였다.

[수학식 12]

수학식 12에서 TARGET_blocking은 제시된 방법을 이용해서 올바르게 블로킹된 목표 영역들의 개수를 의미한다. 그리고 TARGET_all은 테스트하는 영상 콘텐츠에 들어있는 개인 정보를 포함한 목표 영역들의 전체적인 개수를 의미한다. 본 발명에서 정의한 정량적인 척도는 백분율로 표현된다.

도 15은 정확성 측면에서 목표 영역의 다단계 블로킹 방법의 성능 측정 결과를 그래프로 보여주고 있다. 본 발명에서는 216개의 컬러 영상을 사용하여 제안된 방법을 테스트하였다. 도 15에서 확인 가능하듯이 본 발명에 따른 방법이 보다 효과적으로 개인 정보를 포함한 목표 영역을 블로킹한다.

즉, 인간의 피부 색상 분포에 대한 범위를 사전 학습을 통해 정의한 고정적인 피부 색상 모델, 그리고 최근에 심층 학습으로 알려진 딥러닝이 아닌 일반적인 인공 신경망을 사용하는 기존의 방법은 모델이 충분히 학습되지 않아서 목표 영역의 오 검출이 상대적으로 많이 발생하였다. 그리고 블록 기반의 모자이크 처리라는 한 가지의 방법만을 이용하여 목표 영역을 블로킹하므로 시스템이 유연하지 않았다.

이에 비해, 본 발명에 따른 방법은 피부 색상 모델과 인공적인 심층 학습을 수행하여 개인 정보가 포함된 목표 영역을 보다 정확하게 검출하고, 검출된 영역을 다단계로 블로킹하므로 보다 효과적인 성능을 보여주었다. 특히, 여러 개의 블로킹 기법을 중에서 상황에 적합한 기법을 선택하여 사용하므로 보다 적응적인 블로킹 시스템이 구축되었다. 또한, 본 발명에 따른 방법은 인종별로 피부 색상 분포의 차이가 존재하는 것을 극복하기 위해서 여러 인종을 포함한 영상 데이터를 사용해 피부 모델의 학습을 수행한다.

요약하면, 본 발명에서는 입력되는 여러 가지의 컬러 영상으로부터 전경이 아닌 배경 부분을 제외하고 개인 정보를 포함하고 있는 대상 영역을 강인하게 검출한 다음, 주변의 상황에 적합한 블로킹 방법으로 검출된 대상 객체 영역을 효과적으로 보호하는 방법을 제시하고 있다. 본 발명에 따른 방법에서는 먼저 입력되는 컬러 영상으로부터 개인정보를 포함하고 있는 대상 객체 영역만을 사람의 피부 색상을 기반으로 강인하게 분할한다. 다시 말해, 사전에 학습된 타원형의 피부 색상 분포 모델을 영상에 적용하여 다른 영역들은 제거하고 피부 색상 화소만을 선택한다. 그리고 선택된 피부 화소 영상에 모폴로지 연산을 적용해 잡음을 제거하고, 레이블링을 수행하여 개별적인 피부 영역들을 추출한다. 그런 다음, 추출된 피부 영역으로부터 딥러닝 기반의 객체 검출 알고리즘을 사용해 사람의 얼굴 영역만을 강인하게 검출한다. 그런 다음, 주변의 상황에 적합한 블로킹 방법을 선택하여 검출된 얼굴 영역을 효과적으로 가림으로써 개인정보가 외부에 노출되는 것을 보호할 수 있다.

이상, 본 발명자에 의해서 이루어진 발명을 상기 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것은 아니고, 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.

10 : 영상 20 : 컴퓨터 단말
30 : 프로그램 시스템

Claims

입력영상을 대상으로 목표 영역을 블로킹하는 상황 적응적인 블로킹을 사용한 개인 정보 보호 방법에 있어서,
(a) 상기 입력 영상에서 목표 영역을 검출하는 단계; 및,
(b) 상기 목표 영역을 블러링하여 블로킹하되, 상기 목표 영역의 상황 복잡도에 따라 블러링 정도를 달리하는 단계를 포함하는 것을 특징으로 하는 상황 적응적인 블로킹을 사용한 개인 정보 보호 방법.
제1항에 있어서, 상기 (a)단계는,
(a1) 상기 입력 영상에서 피부 영역을 분할하는 단계;
(a2) 오검출된 피부 영역에 대하여 후처리를 수행하는 단계;
(a3) 상기 피부 영역에서 목표 영역을 검출하는 단계를 포함하는 것을 특징으로 하는 상황 적응적인 블로킹을 사용한 개인 정보 보호 방법.
제2항에 있어서,
상기 (a1)단계에서, 상기 입력 영상의 RGB 컬러 공간에서 YCbCr 컬러 공간으로 변환하고, 변환된 YCbCr 컬러 공간을 대상으로, 타원 기반의 사람의 피부 색상 모델을 사용하여, 상기 입력 영상으로부터 배경 부분을 제외하고 인간의 피부 분포 영역을 검출하는 것을 특징으로 하는 상황 적응적인 블로킹을 사용한 개인 정보 보호 방법.
제2항에 있어서,
상기 (a3)단계에서, 상기 피부 영역을 대상으로 서브 윈도우를 설정하고, 상기 서브 윈도우를 CNN 신경망에 입력하여 해당 서브 윈도우에 대해 얼굴 영역 여부를 탐지하되, 상기 입력 영상에서 설정되는 모든 서브 윈도우 각각에 대하여, 각 서브 윈도우를 신경망에 입력하여 해당 서브 윈도우가 얼굴 영역인지를 판단하는 것을 특징으로 하는 상황 적응적인 블로킹을 사용한 개인 정보 보호 방법.
제1항에 있어서,
상기 (b)단계에서, 가우시안 함수를 이용하여, 상기 목표 영상에 대하여 블러링을 수행하되, 가우시안 함수의 표준편차를 상기 목표 영역의 상황 복잡도에 따라 설정하는 것을 특징으로 하는 상황 적응적인 블로킹을 사용한 개인 정보 보호 방법.
제5항에 있어서,
상기 상황 복잡도는 상기 입력 영상의 밝기 특징과, 상기 목표 영상의 거리 특징의 가중화된 합을 이용하여 설정되는 것을 특징으로 하는 상황 적응적인 블로킹을 사용한 개인 정보 보호 방법.
제6항에 있어서,
상기 상황 복잡도 Φ(α,β:t)는 다음 [수식 1]에 의해 설정하는 것을 특징으로 하는 상황 적응적인 블로킹을 사용한 개인 정보 보호 방법.
[수식 1]

단, α와 β는 사전에 정해지는 가중치이고, M과 N은 입력 영상의 가로와 세로의 길이이고, Y는 YCbCr 색상 공간의 Y 요소를 의미하고, MER_width와 MER_height는 목표 영역의 가로와 세로의 길이이고, t는 시점을 나타냄.
제6항에 있어서,
상기 (b)단계에서, 상기 상황 복잡도의 크기에 반비례하여 상기 가우시안 함수의 표준편차를 설정하는 것을 특징으로 하는 상황 적응적인 블로킹을 사용한 개인 정보 보호 방법.
제6항에 있어서,
상기 (b)단계에서, 상기 상황 복잡도가 사전에 정해진 제2 임계치 이상일 경우에는 사전에 정해진 제1 표준편차로 설정하고, 상기 상황 복잡도가 사전에 정해진 제1 임계치 이상이고 상기 제2 임계치 미만일 경우 사전에 정해진 제2 표준편차로 설정하고, 상기 복잡도가 상기 제1 임계치 미만일 경우 사전에 정해진 제3 표준편차로 설정하고,
상기 제2 임계치는 상기 제1 임계치 보다 크고, 상기 제3 표준편차는 상기 제2 표준편차 보다 크고, 상기 제2 표준편차는 상기 제1 표준편차 보다 크도록, 설정되는 것을 특징으로 하는 상황 적응적인 블로킹을 사용한 개인 정보 보호 방법.
제1항 내지 제9항 중 어느 한 항의 상황 적응적인 블로킹을 사용한 개인 정보 보호 방법을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.