KR101903523B1

KR101903523B1 - 비디오 데이터에서 에지 프로젝션 기반의 모자이크 검출 방법

Info

Publication number: KR101903523B1
Application number: KR1020170000405A
Authority: KR
Inventors: 장석우
Original assignee: 안양대학교 산학협력단
Priority date: 2017-01-02
Filing date: 2017-01-02
Publication date: 2018-10-04
Also published as: KR20180079793A

Abstract

다양하게 입력되는 영상에서 일정한 영역들을 가리기 위해 사용한 격자형 모자이크 영역들을 에지 프로젝션을 기반으로 정확하게 검출하는, 비디오 데이터에서 에지 프로젝션 기반의 모자이크 검출 방법에 관한 것으로서, (a) 상기 입력영상에서 에지를 추출하여 추출된 에지를 이용하여 모자이크의 후보 영역을 검출하되, 추출된 에지들이 연속적으로 연결된 라인에지를 검출하고, 검출된 라인에지들을 좌표 축에 프로젝션하고, 프로젝션된 좌표들의 간격을 구하여 모자이크 블록의 크기를 추정하고, 추정된 블록 크기의 간격으로 위치한 좌표들의 화소를 포함하는 영역을 모자이크의 후보 영역으로 선정하는 단계; 및, (b) 기하학적 특징을 이용하여 비 모자이크 영역을 제거하여 실제 모자이크 영역을 검출하는 단계를 포함하는 구성을 마련한다.
상기와 같은 모자이크 검출 방법에 의하여,다양한 종류의 입력 영상에서도 모자이크 블록들에 해당하는 영역들을 기존의 다른 검출 방법에 비해 보다 정확하게 검출할 수 있다.

Description

비디오 데이터에서 에지 프로젝션 기반의 모자이크 검출 방법 { A Mosaic Detection Method Based on Edge Projection in Digital Video }

본 발명은 다양하게 입력되는 영상에서 일정한 영역들을 가리기 위해 사용한 격자형 모자이크 영역들을 에지 프로젝션을 기반으로 정확하게 검출하는, 비디오 데이터에서 에지 프로젝션 기반의 모자이크 검출 방법에 관한 것이다.

또한, 본 발명은 주로 유해 영상 등에서 신체의 일부분을 가리기 위해 사용한 모자이크를 주요 검출 대상으로 하는, 비디오 데이터에서 에지 프로젝션 기반의 모자이크 검출 방법에 관한 것이다.

특히, 본 발명은 입력 영상으로부터 캐니 에지를 검출하고 수평과 수직 에지 프로젝션을 이용해 모자이크의 후보 영역들을 검출한 후, 크기나 밀집도 등의 기하학적인 특징들을 통해 비 모자이크 영역을 제거하여 실제 모자이크 영역들을 검출하는, 비디오 데이터에서 에지 프로젝션 기반의 모자이크 검출 방법에 관한 것이다.

정보통신 기술이 빠르게 발달함에 따라서 이용할 수 있는 비디오 데이터의 양이 폭발적으로 증가하고 있는 추세이다. 특히 최근 들어 스마트 모바일 디바이스와 위치 기반 서비스가 확대됨에 따라서 실시간 위치 기반 영상 자료들이 활발하게 이용되고 있으며, 이런 디지털 영상 데이터가 대용량의 빅 데이터(big data)를 형성하고 있는 추세이다[비특허문헌 1]. 그리고 이런 비디오 데이터를 효과적으로 검색하고 처리하기 위해서 관련된 실제 응용 프로그램들도 여러 분야에서 다양하게 개발되고 있는 실정이다[비특허문헌 2].

일반적으로 영상 안에는 다른 사람들에게 노출되기를 원하지 않는 정보들이 포함되어 있기도 하다. 예를 들어, 일반인들이 지도를 검색하기 위해 인터넷 브라우저를 통해 자유롭게 확인할 수 있는 구글 거리 뷰(google street view)[비특허문헌 3]에는 특정인의 개인정보 중의 하나인 자동차 번호판 등이 그대로 노출되어 있는 경우도 많이 있다. 그리고 인터넷으로 블로그(blog)를 검색하다 보면 업로드된 사진 내에 촬영되기를 원하지 않는 다른 사람들의 얼굴이나 노출된 신체의 특정 부위가 포함되어 있기도 하다. 따라서 이런 영역들을 숨기기 위해서 최근에는 모자이크를 많이 사용하고 있다[비특허문헌 4]. 특히 생성되는 모자이크 영역이 주변 영역과 부자연스럽게 보이지 않도록 하기 위해서 최대한의 주의를 기울이고 있다.

그리고 성인영상 검출[비특허문헌 5]과 관련된 영상처리 및 컴퓨터 비전 관련 분야에서는 주어진 입력 영상들 안에 사용자가 원하지 않는 정보를 포함하고 있는지의 여부를 효과적으로 판단하기 위해서 영상 내에 격자형 모자이크 블록으로 처리된 영역에 대한 검출을 시도하고 있다[비특허문헌 6].

이런 디지털 영상 데이터로부터 모자이크 처리된 영역을 자동으로 검출하는 분야와 연관된 기존의 연구는 관련된 참고문헌에서 찾아볼 수 있다. [비특허문헌 7]에서는 입력 영상으로부터 에지를 검출하고, 검출된 에지를 기반으로 모자이크의 후보 영역을 생성한다. 그런 다음, 기하학적인 특징을 이용한 필터링을 통해 실제 모자이크 영역을 최종적으로 선택한다. [비특허문헌 8]에서는 모자이크 블록을 정확하게 검출하기 위해서 퍼지 c-means 클러스터링 알고리즘을 사용한다. 이 방법에서는 먼저 영상으로부터 소벨(Sobel) 에지를 검출하고, 클러스터링 특징을 추출한 다음, 퍼지 c-means 클러스터링을 적용하여 일반적인 영상 블록과 모자이크 블록을 구분한다. [비특허문헌 9]에서는 영상으로부터 에지를 검출하고, 템블릿 정합을 이용하여 모자이크의 후보 영역을 검출한다. 마지막으로 서포트 벡터 기계(support vector machine)를 이용하여 최종적인 실제 모자이크 영역을 선택한다. 이런 방법들 이외에도 모자이크를 보다 효과적으로 검출하기 위한 여러 가지의 방법들이 계속해서 시도되고 있다[비특허문헌 10].

위에서 살펴본 기존의 방법들도 어느 정도는 정확하게 모자이크 처리된 영역들을 검출하지만 그 정확도가 높지 않은 것이 현재 실정이다. 그리고 아직까지는 모자이크를 생성하고 검출하는 방법과 관련된 연구가 활발하게 진행되지는 않았다.

특히, 주로 유해 영상 등에서 신체의 일부분을 가리기 위해 모자이크를 사용하고 있다. 일반적으로 유해 영상에서 사용되는 모자이크들은 가리고자 하는 영역에 따라 크기가 서로 다를 수는 있지만 복잡한 형태를 띄기 보다는 비교적 단순한 형태인 격자형 모자이크가 주로 사용된다. 물론 모자이크 이외에 블러링 등을 사용한 유해 영상을 찾아볼 수는 있으나, 현재 상당수의 유해 영상에서는 모자이크가 주류를 이루고 있다.

따라서 이와 같이 유해 영상 등에서 나타나는 격자형 모자이크를 정확하게 검출하는 기술이 필요하다.

H. Duan, Y. Peng, G. Min, X. Xiang, W. Zhan, and H. Zou, "Distributed In-Memory Vocabulary Tree for Real-Time Retrieval of Big Data Images," Ad Hoc Networks, Vol. 35, pp. 137-148, December 2015. D. Rim, M. K. Hasan, F. Puech, and C. J. Pal, "Learning from Weakly Labeled Faces and Video in the Wild," Pattern Recognition, Vol. 48, No. 3, pp. 759-771, March 2015. L. Yin, Q. Cheng, Z. Wang, and Z. Shao, "Big Data for Pedestrian Volume: Exploring the Use of Google Street View Images for Pedestrian Counts," Applied Geography, Vol. 63, pp. 337-345, September 2015. D. Guo, J. Tang, Y. Cui, J. Ding, and C. Zhao, "Saliency-based Content-Aware Lifestyle Image Mosaics," Journal of Visual Communication and Image Representation, Vol. 26, pp. 192-199, January 2015. S.-W. Jang and M. Jung, "Detection of Harmful Content Using Multilevel Verification in Visual Sensor Data," Wireless Personal Communications, Springer, pp. 1-16, August 2015. Z. Wei, J. Lin, L. Zhang, and S. Song, "Mosaic Defect Detection Based on Macro Block Solid Edge Detection," Research Journal of Applied Science, Engineering and Technology, No. 5, Vol. 13, pp. 3549-3553, April 2013. Y.-J. Park, G.-S. Choi, and J.-J. Park, "A Study on Grid Mosaic Detection for Identifying Image Harmfulness," In Proc. of the Korea Society of Industrial Information Systems, pp. 1-5, June 2015. J. Liu, L. Huang, and J. Lin, "An Image Mosaic Block Detection Method Based on Fuzzy C-Means Clustering," In Proc. of the IEEE International Conference on Computer Research and Development (ICCRD), Vol. 1, pp. 237-240, March 2011. X. Huang, H. Ma, and H. Yuan, "Video Mosaic Block Detection Based on Template Matching and SVM," In Proc. of the IEEE International Conference for Young Computer Scientist (ICYCS), pp. 1082-1086, November 2008. S.-F. Sun, S.-H. Han, G. Wang, Y.-C. Xu, and B.-J. Lei, "Mosaic Defect Detection in Digital Video," In Proc. of the IEEE Chinese Conference on Pattern Recognition (CCPR), pp. 1-5, October 2010. H.-I. Choi, Computer Vision, Hongrung Publishing Company, November 2012.

본 발명의 목적은 상술한 바와 같은 문제점을 해결하기 위한 것으로, 입력 영상으로부터 캐니 에지를 검출하고 수평과 수직 에지 프로젝션을 이용해 모자이크의 후보 영역들을 검출한 후, 크기나 밀집도 등의 기하학적인 특징들을 통해 비 모자이크 영역을 제거하여 실제 모자이크 영역들을 검출하는, 비디오 데이터에서 에지 프로젝션 기반의 모자이크 검출 방법을 제공하는 것이다.

상기 목적을 달성하기 위해 본 발명은 입력영상에 존재하는 모자이크 블록을 검출하는 비디오 데이터에서 에지 프로젝션 기반의 모자이크 검출 방법에 관한 것으로서, (a) 상기 입력영상에서 에지를 추출하여 추출된 에지를 이용하여 모자이크의 후보 영역을 검출하되, 추출된 에지들이 연속적으로 연결된 라인에지를 검출하고, 검출된 라인에지들을 좌표 축에 프로젝션하고, 프로젝션된 좌표들의 간격을 구하여 모자이크 블록의 크기를 추정하고, 추정된 블록 크기의 간격으로 위치한 좌표들의 화소를 포함하는 영역을 모자이크의 후보 영역으로 선정하는 단계; 및, (b) 기하학적 특징을 이용하여 비 모자이크 영역을 제거하여 실제 모자이크 영역을 검출하는 단계를 포함하는 것을 특징으로 한다.

또, 본 발명은 비디오 데이터에서 에지 프로젝션 기반의 모자이크 검출 방법에 있어서, 상기 (a)단계에서, 추출된 에지들이 연속적으로 연결된 라인에지를 검출하되, x축에 평행한 수평 라인에지와 y축에 평행한 수직 라인에지를 구하고, 각 수직 라인에지와 수평 라인에지를 각각 x축과 y축에 프로젝션하여 누적 x좌표들 및 누적 y좌표들을 구하고, 누적 x좌표들과 누적 y좌표들 각각에 대하여 같은 축의 좌표 간의 간격을 구하여 모자이크 블록의 크기를 추정하고, 추정된 블록 크기의 간격으로 위치한 누적 x좌표들과 누적 y좌표들의 화소를 포함하는 영역을 모자이크의 후보 영역으로 선정하는 것을 특징으로 한다.

또, 본 발명은 비디오 데이터에서 에지 프로젝션 기반의 모자이크 검출 방법에 있어서, 프로젝션되는 수직 라인에지 또는 수평 라인에지의 길이를 누적하여 누적된 길이가 사전에 정해진 임계치 이상인 경우에만 누적 x좌표 또는 누적 y좌표로 추정하는 것을 특징으로 한다.

또, 본 발명은 비디오 데이터에서 에지 프로젝션 기반의 모자이크 검출 방법에 있어서, 누적 x좌표들과 누적 y좌표들 각각에 대하여, 인접한 좌표들 사이의 간격을 구하고, 간격의 빈도수가 가장 높으며 가장 작은 값을 선택하여 모자이크 블록의 크기로 추정하는 것을 특징으로 한다.

또, 본 발명은 비디오 데이터에서 에지 프로젝션 기반의 모자이크 검출 방법에 있어서, 상기 (a)단계는, (a1) 상기 입력영상에서 에지를 추출하는 단계; (a2) 수평방향 및 수직방향으로 연속적으로 연결된 에지인 수평 라인에지 및 수직 라인에지를 검출하는 단계; (a3) 수직 라인에지 및 수평 라인에지를 각각 x축 및 y축의 방향으로 프로젝션하여, 각 x축의 x좌표들과 y축의 y좌표들에 대한 누적된 에지 화소의 개수를 구하고, 누적된 화소의 개수가 사전에 정해진 임계치 이상인 x좌표들의 집합(이하 누적 x좌표 집합)과 y좌표들의 집합(이하 누적 y좌표 집합)을 구하는 단계; (a4) 누적 x좌표 집합과 누적 y좌표 집합 각각에 대하여, 인접한 좌표들 사이의 간격을 구하고, 간격의 빈도수가 가장 높으며 가장 작은 값을 선택하여 모자이크 블록의 크기로 추정하고, 인접한 좌표와의 간격이 추정된 블록 크기인 좌표들로 각각 모자이크 x좌표 집합과 모자이크 y좌표 집합을 구하는 단계; (a5) 상기 모자이크 x좌표 집합에 속하는 x좌표와, 상기 모자이크 y좌표 집합에 속하는 y좌표로 구성된 모든 화소 위치를 포함하는 영역에 대한 최소 포함 사각형을 구하여 모자이크의 후보 영역으로 선정하는 단계를 포함하는 것을 특징으로 한다.

또, 본 발명은 비디오 데이터에서 에지 프로젝션 기반의 모자이크 검출 방법에 있어서, 상기 기하학적 특징은 상기 모자이크 후보 영역의 크기, 상기 모자이크 후보 영역을 포함하는 최소 포함 사각형의 종횡비, 및, 최소 포함 사각형 대비 후보 영역의 비율인 밀집도 중 어느 하나 이상을 포함하는 것을 특징으로 한다.

또, 본 발명은 비디오 데이터에서 에지 프로젝션 기반의 모자이크 검출 방법에 있어서, 상기 크기, 종횡비, 밀집도는 [수식 1]에 의하여 구하는 것을 특징으로 한다.

[수식 1]

단, R_i는 모자이크 후보 영역들 중에서 i번째 영역이고, Nm(R_i)는 후보 영역 R_i 내에 포함된 전체 화소의 개수이고, MER_h(R_i)와 MER_v(R_i)는 모자이크의 후보 영역 R_i에 대한 최소 포함 사각형의 가로와 세로의 길이를 각각 나타냄.

또한, 본 발명은 비디오 데이터에서 에지 프로젝션 기반의 모자이크 검출 방법을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.

상술한 바와 같이, 본 발명에 따른 비디오 데이터에서 에지 프로젝션 기반의 모자이크 검출 방법에 의하면, 에지 프로젝션을 기반으로 모자이크의 후보 영역들을 검출한 후 기하학적인 특징을 통해 필터링함으로써, 다양한 종류의 입력 영상에서도 모자이크 블록들에 해당하는 영역들을 기존의 다른 검출 방법에 비해 보다 정확하게 검출할 수 있는 효과가 얻어진다.

도 1은 본 발명을 실시하기 위한 전체 시스템의 구성을 도시한 도면.
도 2는 본 발명의 일실시예에 따른 비디오 데이터에서 에지 프로젝션 기반의 모자이크 검출 방법을 설명하는 흐름도.
도 3은 본 발명의 실험에 따른 영상으로서, (a) 입력 영상, (b) 에지 영상.
도 4는 본 발명의 실험에 따른 영상으로서, (a) 수평라인 에지 영상, (b) 수직라인 에지 영상.
도 5는 본 발명의 실험에 따른 추출된 모자이크 영상.
도 6은 본 발명의 실험에 따른 성능 비교를 나타낸 그래프.

이하, 본 발명의 실시를 위한 구체적인 내용을 도면에 따라서 설명한다.

또한, 본 발명을 설명하는데 있어서 동일 부분은 동일 부호를 붙이고, 그 반복 설명은 생략한다.

먼저, 본 발명을 실시하기 위한 전체 시스템의 구성의 예들에 대하여 도 1을 참조하여 설명한다.

도 1에서 보는 바와 같이, 본 발명에 따른 비디오 데이터에서 에지 프로젝션 기반의 모자이크 검출 방법은 영상(또는 이미지)(10)을 입력받아 상기 영상(또는 이미지)에 대하여 모자이크 블록을 검출하는 컴퓨터 단말(20) 상의 프로그램 시스템으로 실시될 수 있다. 즉, 상기 모자이크 검출 방법은 프로그램으로 구성되어 컴퓨터 단말(20)에 설치되어 실행될 수 있다. 컴퓨터 단말(20)에 설치된 프로그램은 하나의 프로그램 시스템(30)과 같이 동작할 수 있다.

한편, 다른 실시예로서, 비디오 데이터에서 에지 프로젝션 기반의 모자이크 검출 방법은 프로그램으로 구성되어 범용 컴퓨터에서 동작하는 것 외에 ASIC(주문형 반도체) 등 하나의 전자회로로 구성되어 실시될 수 있다. 또는 영상에서 모자이크 블록을 검출하는 것만을 전용으로 처리하는 전용 컴퓨터 단말(20)로 개발될 수도 있다. 이를 모자이크 검출 장치(40)라 부르기로 한다. 그 외 가능한 다른 형태도 실시될 수 있다.

한편, 영상(10)은 시간상으로 연속된 프레임으로 구성된다. 하나의 프레임은 하나의 이미지를 갖는다. 또한, 영상(10)은 하나의 프레임(또는 이미지)을 가질 수도 있다. 즉, 영상(10)은 하나의 이미지인 경우에도 해당된다.

다음으로, 본 발명의 일실시예에 따른 비디오 데이터에서 에지 프로젝션 기반의 모자이크 검출 방법을 도 2를 참조하여 설명한다. 도 2는 본 발명에 따른 비디오 데이터에서 에지 프로젝션 기반의 모자이크 검출 방법에 대한 전체적인 흐름도를 보여준다.

본 발명은 에지 프로젝션을 기반으로 격자형 모자이크를 효과적으로 검출하는 새로운 방법이다. 특히, 본 발명에서는 주로 유해 영상 등에서 신체의 일부분을 가리기 위해 사용한 모자이크를 주요 검출 대상으로 한다.

도 2에서 보는 바와 같이, 본 발명에 따른 비디오 데이터에서 에지 프로젝션 기반의 모자이크 검출 방법은, 크게, 입력 영상으로부터 에지 특징을 추출한 다음 에지 프로젝션을 기반으로 모자이크의 후보 영역들을 검출하는 단계(S10)와, 후보 영역의 필터링을 통해 비 모자이크 영역을 제거함으로써 최종적인 실제 모자이크 영역들을 검출하는 단계(S20로 구성된다.

이하에서, 각 단계를 보다 구체적으로 설명한다.

먼저, 모자이크의 후보 영역들을 검출하는 단계(S10)를 설명한다.

입력 영상에 포함된 모자이크 영역은 모자이크의 블록(MB: mosaic block)들로 구성되어 있는데, 일반적으로 다음과 같은 특징을 가지고 있다. 첫째, 모자이크 블록 내에 위치한 화소들의 색상은 동일하다. 따라서 모자이크 블록 내부에는 에지가 존재하지 않는다. 둘째, 모자이크 블록들의 크기는 동일하다. 셋째, 모자이크 블록들은 서로 인접해 있으며 군집(cluster)을 형성한다. 넷째, 동일한 명암 값을 가진 인접한 모자이크 블록들 사이에는 에지가 존재하지 않는다.

본 발명에서는 먼저 입력 영상으로부터 캐니(Canny) 에지 E(x,y)를 추출한다(S11)[비특허문헌 11]. 영상에서 에지는 모자이크를 검출하기 위한 중요한 특징 중의 하나이므로 처음으로 수행하는 단계인 에지 영상을 정확하게 추출하는 작업은 매우 중요하다. 일반적으로 캐니 에지는 윤곽선을 찾는 작업에 있어 그 정확도가 비교적 높은 편이라 영상처리 및 컴퓨터 비전 분야에서 가장 많이 사용되고 있는 에지 검출기 중의 하나이다.

다음으로, 수평방향 또는 수직방향으로 연속적으로 연결된 라인에지를 검출한다(S12).

추출된 캐니 에지로부터 수평 방향(0° 또는 180°)으로 사전에 정해진 임계 화소수 TH_line 화소 이상 연속적으로 연결된 에지들을 검출하는데, 본 발명에서는 이를 수평(horizontality) 라인에지 LE_h(x,y)라고 명명한다. 그리고 수직 방향(90° 또는 270°)으로도 TH_line 화소 이상 연속적으로 연결된 에지들을 검출하여 수직(verticality) 라인에지 LE_v(x,y)라고 명명한다.

다음으로, 수직 라인에지 및 수평 라인에지를 각각 x축 및 y축의 방향으로 프로젝션하여, 누적 x좌표들의 집합과 누적 y좌표들의 집합을 각각 구한다(S13).

즉, 수학식 1과 같이 수직 라인에지 LE_v(x,y)를 x축의 방향으로 프로젝션(projection)한다. 마찬가지로 식 2와 같이 수평 라인에지 LE_h(x,y)를 y축의 방향으로 프로젝션한다. 그리고 식 1과 식 2에서 W와 H는 입력 영상의 너비(width)와 높이(height)를 나타낸다.

[수학식 1]

[수학식 2]

여기서, LE_v(x,y), LE_h(x,y)는 각각 수직 라인에지 및 수평 라인에지를 말한다.

그리고 누적된 화소의 개수가 사전에 정해진 임계치 이상인 x좌표들의 집합(이하 누적 x좌표 집합)과 y좌표들의 집합(이하 누적 y좌표 집합)을 구한다.

즉, 프로젝션을 통해 누적된 화소의 개수인 Proj(x)가 TH_accum이상인 x 좌표의 집합(누적 x좌표 집합)을 식 3과 같이 획득한다. 또한, 프로젝션을 통해서 누적된 화소의 개수인 Proj(y)가 TH_accum이상인 y 좌표의 집합(누적 y좌표 집합)을 식 4와 같이 획득한다.

[수학식 3]

[수학식 4]

다음으로, 누적 x좌표 집합과 누적 y좌표 집합 각각에 대하여, 인접한 좌표들 사이의 간격(차이)을 구하여 모자이크 블록의 크기로 정하고, 인접한 좌표와의 간격이 추정된 블록 크기인 좌표들로 각각 모자이크 x좌표 집합과 모자이크 y좌표 집합을 구한다(S14).

집합 X_accum에서 인접한 x 좌표들 사이의 차이(또는 간격)인 X_diff, 그리고 집합 Y_accum에서 인접한 y 좌표들 사이의 차이(또는 간격)인 Y_diff를 식 5 및 식 6과 같이 구하고, X_diff와 Y_diff 중에서 값의 빈도수가 가장 높으며 값이 가장 작은 값을 선택하여 N×M 화소 크기인 모자이크 블록의 N과 M으로 결정한다.

[수학식 5]

[수학식 6]

그런 다음, 집합 X_accum에서 인접한 x 좌표들 사이의 차이가 N인 x 좌표들, 그리고 Y_accum에서 인접한 y 좌표들 사이의 차이가 M인 y 좌표들을 식 7와 식 8과 같이 선택한다.

[수학식 7]

[수학식 8]

다음으로, X_mosaic에 속하는 값을 입력 영상의 x좌표로 가지고, Y_mosaic에 속하는 값을 입력 영상의 y 좌표로 가지는 모든 (x, y) 위치를 포함하는 영역에 대한 최소 포함 사각형(MER: minimum enclosing rectangle)을 식 9와 같이 선택하고, 정의된 MER을 본 발명에서 검출하고자 하는 모자이크의 후보 영역으로 선정한다(S15). 식 9에서 (x_p,y_p)과 (x_q,y_q)는 MER의 시작과 끝 좌표를 각각 의미한다.

[수학식 9]

다음으로, 비 모자이크 영역 제거 단계(S20)를 설명한다.

본 발명에서는 기하학적(geometric)인 특징들을 사용하여 이전 단계에서 검출한 격자형 모자이크의 후보 영역들 중에서 비 모자이크 영역이라고 판단되는 영역들을 제거한다.

후보 영역 제거에 사용되는 기하학적인 특징으로는 모자이크 후보 영역의 크기(size), 종횡비(aspect ratio), 밀집도(compactness) 특징을 식 10과 같이 정의하여 활용한다.

[수학식 10]

위의 수식에서 사용된 R_i는 이전 단계에서 추출된 모자이크 후보 영역들 중에서 i번째 영역을 의미한다. 그리고 Nm(R_i)는 후보 영역 R_i 내에 포함된 전체 화소의 개수를 나타낸다. 또한 MER_h(R_i)와 MER_v(R_i)는 모자이크의 후보 영역 R_i에 대한 최소 포함 사각형의 가로와 세로의 길이를 각각 나타낸다.

여기에서, R_i는 모자이크 후보 영역들 중에서 i번째 영역(region)을 나타낸다. 그리고 MER은 영역 R_i를 포함하는 최소 포함 사각형이다. 다시 말해, R_i는 영역의 테두리 부분만을 의미하는 것이 아니라 영역의 내부를 포함한 영역 전체를 의미한다. 하지만 MER은 영역 R_i를 최소로 포함하는 사각형을 그렸을 때의 사각형 부분만을 의미한다.

먼저 후보 영역의 크기 특징 size(R_i)는 노이즈(noise)의 영향으로 생성된 너무 작은 크기의 후보 영역들을 제거하기 위해 사용된다. 종횡비 특징 aspect(R_i)는 어느 한쪽 방향으로 너무 길게 치우쳐진 비 모자이크 영역을 효과적으로 제거하기 위해 사용된다. 물론 특정한 방향으로 길게 늘어진 모양을 가진 모자이크 영역도 존재할 수는 있으나, 실제 유해 영상에서 이런 영역은 많이 발견되지는 않는다. 그리고 밀집도 특징 compact(R_i)는 영역 내의 밀도가 낮은 비 모자이크 영역들을 제거하기 위해서 사용된다.

본 발명에서는 식 11, 식 12, 식 13과 같이 위에서 정의한 기하학적인 특징들을 모자이크의 후보 영역에 적용하여 사전에 정의된 임계치(threshold) 미만에 해당하는 영역들은 비 모자이크 영역으로 판단하고 이들을 후보 영역에서 제거한다. 식 11, 식 12, 식 13에서 TH_size, TH_aspect, TH_compact는 각각 모자이크 후보 영역의 크기, 종횡비, 밀집도 특징에 대한 사전 임계치를 의미한다. 본 발명에서는 사전에 반복적인 실험을 통해서 이런 임계치들을 인위적으로 설정한다.

[수학식 11]

[수학식 12]

[수학식 13]

본 발명에서는 위에서 정의한 세 가지의 특징을 모자이크의 후보 영역들에 적용하여 비 모자이크 영역이라고 판단되는 영역들을 모두 제거한 후 남은 영역들을 최종적으로 실제 모자이크 영역으로 판단한다.

물론, 종횡비나 크기와 같은 기하학적인 특징들에 의해 일반적인 모자이크 영역들, 예를 들어 특정한 건물이나 간판을 가리기 위해 사용한 모자이크 영역들이 제거될 가능성이 있는 것도 사실이지만 본 발명에서는 신체의 구성요소를 가리기 위한 모자이크 영역을 주요 검출 대상으로 하고 있으므로 본 발명에서 사용한 기하학적인 특징들이 효과적으로 동작한다.

다음으로, 본 발명의 효과를 실험을 통해 설명한다.

본 발명에서 실험을 위하여 사용한 컴퓨터는 인텔 Core(TM) i7 2.93Ghz의 CPU와 8GB의 메모리로 구성되어 있으며, 윈도우 7 운영체제를 이용하였다. 그리고 마이크로소프트사의 비주얼 스튜디오와 OpenCV 라이브러리를 이용하여 본 발명에 따른 방법을 구현하였다. 그리고 본 발명에 따른 방법의 성능을 비교 평가하기 위해서 모자이크 블록들이 포함된 여러 가지 종류의 실내외 입력 영상들을 수집하여 활용하였다.

도 3(a)는 모자이크 영역이 존재하는 입력 영상을 보여주며, 도 3(b)는 입력된 영상으로부터 캐니 에지 특징을 추출한 결과를 보여준다.

도 4(a)는 수평 방향의 라인 에지를 추출한 결과를 보여주며, 도 4(b)는 수직 방향으로 라인 에지를 추출한 결과를 보여준다.

도 5는 모자이크의 후보 영역들 중에서 기하학적인 특징을 적용하여 비 모자이크 영역들을 제거하고 실제 모자이크 영역들만을 검출한 결과를 보여준다.

본 발명에서는 제안된 에지 프로젝션 기반의 모자이크 검출 방법의 성능을 정량적으로 비교 평가하기 위해서 식 14와 같은 정확도 척도를 사용하였다. 식 14에서 Num_total은 영상에 존재하는 모자이크의 전체 개수를 나타내고, Num_detected는 정확하게 검출된 모자이크의 개수를 의미한다.

[수학식 14]

도 6는 식 14에서 정의한 정확도 척도를 이용하여 기존의 템플릿 정합을 이용한 방법[비특허문헌 9]과 본 발명에 따른 방법의 모자이크 검출 방법의 성능을 그래프로 비교하여 보여준다.

도 6에서 확인할 수 있듯이 본 발명에 따른 방법이 수평과 수직 에지 프로젝션을 이용하여 기존의 방법에 비해서 보다 정확하게 격자형 모자이크 영역들을 검출함을 확인할 수 있었다. 다만, 입력되는 영상에 화질 저하가 발생한 부분에 모자이크가 생성되어 있는 경우에는 본 발명에 따른 방법의 검출 정확도가 다소 저하될 수 있다. 그리고 본 발명에서는 노이즈 에지로 인한 오류를 줄이기 위해 라인 에지를 기본적으로 사용하였다. 따라서 일정 크기 미만의 노이즈 라인 에지는 자동적으로 고려되지 않지만 그 크기 이상의 노이즈 라인 에지로 인한 오류는 피할 수 없다. 이를 해결하기 위해서는 노이즈를 최대한 줄이기 위해 영상 스무딩(smoothing)과 같은 전처리를 수행하거나, 라인 에지를 결정하는 임계치인 TH_line의 크기를 노이즈가 포함된 정도에 따라 적응적으로 조절해야 한다.

그리고 본 발명에서 검출하는 모자이크는 위에서 기술했듯이 유해 영상을 대상으로 하고 있다. 즉, 실험영상이 신체의 주요 부위가 적나라하게 드러나는 영상들이거나 남녀의 성행위를 촬영한 영상들이 대부분이므로 출원서의 내용에 포함시키기가 사실상 어려운 상황이다. 그래서 본 발명에서는 이런 부분들이 포함되지 않은 영상을 선택하여 실험하였다.

최근 들어, 웹 사이트나 블로그에 사진을 업로드할 때 초상권을 보호하거나 타인에게 혐오감을 주지 않기 위해서 사람의 얼굴이나 특정한 물건을 모자이크 처리하는 경우가 많이 있다. 본 발명에서는 에지 프로젝션을 기반으로 영상에서 모자이크 영역을 효과적으로 검출하는 새로운 알고리즘을 제안하였다. 먼저 영상으로부터 에지를 추출하고 에지 프로젝션을 기반으로 모자이크의 후보 영역들을 검출하였다. 그런 다음, 후보 영역 필터링을 통해서 실제적인 모자이크 영역만을 정확하게 추출하였다.

이상, 본 발명자에 의해서 이루어진 발명을 상기 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것은 아니고, 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.

10 : 영상 20 : 컴퓨터 단말
30 : 프로그램 시스템

Claims

입력영상에 존재하는 모자이크 블록을 검출하는 비디오 데이터에서 에지 프로젝션 기반의 모자이크 검출 방법에 있어서,
(a) 상기 입력영상에서 에지를 추출하여 추출된 에지를 이용하여 모자이크의 후보 영역을 검출하되, 추출된 에지들이 연속적으로 연결된 라인에지를 검출하고, 검출된 라인에지들을 좌표 축에 프로젝션하고, 프로젝션된 좌표들의 간격을 구하여 모자이크 블록의 크기를 추정하고, 추정된 블록 크기의 간격으로 위치한 좌표들의 화소를 포함하는 영역을 모자이크의 후보 영역으로 선정하는 단계; 및,
(b) 기하학적 특징을 이용하여 비 모자이크 영역을 제거하여 실제 모자이크 영역을 검출하는 단계를 포함하고,
상기 (a)단계에서, 추출된 에지들이 연속적으로 연결된 라인에지를 검출하되, x축에 평행한 수평 라인에지와 y축에 평행한 수직 라인에지를 구하고, 각 수직 라인에지와 수평 라인에지를 각각 x축과 y축에 프로젝션하여 누적 x좌표들 및 누적 y좌표들을 구하고, 누적 x좌표들과 누적 y좌표들 각각에 대하여 같은 축의 좌표 간의 간격을 구하여 모자이크 블록의 크기를 추정하고, 추정된 블록 크기의 간격으로 위치한 누적 x좌표들과 누적 y좌표들의 화소를 포함하는 영역을 모자이크의 후보 영역으로 선정하고,
누적 x좌표들과 누적 y좌표들 각각에 대하여, 인접한 좌표들 사이의 간격을 구하고, 간격의 빈도수가 가장 높으며 가장 작은 값을 선택하여 모자이크 블록의 크기로 추정하는 것을 특징으로 하는 비디오 데이터에서 에지 프로젝션 기반의 모자이크 검출 방법.
삭제
제1항에 있어서,
프로젝션되는 수직 라인에지 또는 수평 라인에지의 길이를 누적하여 누적된 길이가 사전에 정해진 임계치 이상인 경우에만 누적 x좌표 또는 누적 y좌표로 추정하는 것을 특징으로 하는 비디오 데이터에서 에지 프로젝션 기반의 모자이크 검출 방법.
삭제
제1항에 있어서, 상기 (a)단계는,
(a1) 상기 입력영상에서 에지를 추출하는 단계;
(a2) 수평방향 및 수직방향으로 연속적으로 연결된 에지인 수평 라인에지 및 수직 라인에지를 검출하는 단계;
(a3) 수직 라인에지 및 수평 라인에지를 각각 x축 및 y축의 방향으로 프로젝션하여, 각 x축의 x좌표들과 y축의 y좌표들에 대한 누적된 에지 화소의 개수를 구하고, 누적된 화소의 개수가 사전에 정해진 임계치 이상인 x좌표들의 집합(이하 누적 x좌표 집합)과 y좌표들의 집합(이하 누적 y좌표 집합)을 구하는 단계;
(a4) 누적 x좌표 집합과 누적 y좌표 집합 각각에 대하여, 인접한 좌표들 사이의 간격을 구하고, 간격의 빈도수가 가장 높으며 가장 작은 값을 선택하여 모자이크 블록의 크기로 추정하고, 인접한 좌표와의 간격이 추정된 블록 크기인 좌표들로 각각 모자이크 x좌표 집합과 모자이크 y좌표 집합을 구하는 단계;
(a5) 상기 모자이크 x좌표 집합에 속하는 x좌표와, 상기 모자이크 y좌표 집합에 속하는 y좌표로 구성된 모든 화소 위치를 포함하는 영역에 대한 최소 포함 사각형을 구하여 모자이크의 후보 영역으로 선정하는 단계를 포함하는 것을 특징으로 하는 비디오 데이터에서 에지 프로젝션 기반의 모자이크 검출 방법.
제1항에 있어서,
상기 기하학적 특징은 상기 모자이크 후보 영역의 크기, 상기 모자이크 후보 영역을 포함하는 최소 포함 사각형의 종횡비, 및, 최소 포함 사각형 대비 후보 영역의 비율인 밀집도 중 어느 하나 이상을 포함하는 것을 특징으로 하는 비디오 데이터에서 에지 프로젝션 기반의 모자이크 검출 방법.
제6항에 있어서,
상기 크기, 종횡비, 밀집도는 [수식 1]에 의하여 구하는 것을 특징으로 하는 비디오 데이터에서 에지 프로젝션 기반의 모자이크 검출 방법.
[수식 1]

단, R_i는 모자이크 후보 영역들 중에서 i번째 영역이고, Nm(R_i)는 후보 영역 R_i 내에 포함된 전체 화소의 개수이고, MER_h(R_i)와 MER_v(R_i)는 모자이크의 후보 영역 R_i에 대한 최소 포함 사각형의 가로와 세로의 길이를 각각 나타냄.
제1항, 제3항, 제5항 내지 제7항 중 어느 한 항의 비디오 데이터에서 에지 프로젝션 기반의 모자이크 검출 방법을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.