KR101693247B1 - 경계 특징을 이용한 모자이크 블록 추출 방법 - Google Patents

Abstract

입력영상에 존재하는 모자이크 블록을 추출하는 경계 특징을 이용한 모자이크 블록 추출 방법에 관한 것으로서, (a) 상기 입력영상을 블록 단위로 분할하는 단계; (b) 상기 입력영상에서 에지를 검출하는 단계; (c) 분할된 각 블록에서 에지의 유무에 따라 모자이크 가능성 정도를 구하고, 모자이크 가능성 정도를 픽셀값으로 하는 블록 단위의 영상을 생성하여 이진화하고, 이진화된 영상을 레이블링하여 모자이크의 후보 영역을 추출하는 단계; (d) 상기 모자이크 후보 영역에 대하여 기하학적 특징을 이용하여 필터링을 수행하는 단계; 및, (e) 필터링을 한 후 남은 후보 영역들을 최종 모자이크 블록으로 추출하는 단계를 포함하는 구성을 마련한다.
상기와 같은 모자이크 블록 추출 방법에 의하여,다양한 종류의 입력 영상에서도 모자이크 블록들을 강건하게 검출할 수 있다.

Description

경계 특징을 이용한 모자이크 블록 추출 방법 { A Method for Extracting Mosaic Blocks Using Boundary Features }

본 발명은 영상에서 사각형 모양의 격자형 모자이크를 검출 대상으로 하는 경계 특징을 이용한 모자이크 블록 추출 방법에 관한 것이다.

특히, 본 발명은 입력된 컬러 영상에 존재하는 모자이크 블록들을 경계 특징을 이용하여 검출하는 방법으로서, 먼저 입력 영상으로부터 캐니 에지를 검출하고, 검출된 에지로부터 모자이크 블록의 경계 특징을 추출하여 모자이크 블록이 존재할 가능성이 있는 후보 영역들을 찾고, 기하학적인 특징을 활용하여 비 모자이크 영역들을 제거하고 실제적인 모자이크 블록들만을 검출하는 경계 특징을 이용한 모자이크 블록 추출 방법에 관한 것이다.

최근 들어 멀티미디어와 관련된 하드웨어 기술과 정보 통신 기술들이 급속히 발달함에 따라서 사진, 애니메이션, 카툰(cartoon), UCC, 비디오 동영상과 같은 디지털 시각 매체가 폭발적으로 증가하고 있다[비특허문헌 1, 2].

일반적으로 비디오 데이터를 만드는 작업은 촬영, 캡처링, 편집, 저장, 그리고, 전송 등의 여러 가지 처리 과정이 필요하다. 그리고 이런 처리 과정에서 비디오 데이터는 여러 번 인코딩되거나 디코딩될 필요가 있는데, 이런 과정에서 비디오 데이터의 손실이 자연스럽게 발생할 수 있다. 결과적으로 데이터의 손실은 비디오의 화질을 저하시키며, 비디오 영상 안에 모자이크(mosaic), 희미한 영상, 줄무늬, 검은 화면 등과 같은 영상의 변형을 발생시키는 원인이 된다.

이런 비디오 데이터를 정상적으로 복구하기 위해서는 먼저 영상이 변형된 위치를 자동으로 찾는 것이 중요한데, 영상 변형들 중에서 모자이크 영역은 다른 종류의 영상 변형에 비해 상대적으로 복잡하므로 모자이크를 검출하는 작업 역시 어려운 문제로 인식되고 있다[비특허문헌 3].

비디오 데이터의 인코딩과 디코딩 변환 과정에서 의도하지 않게 발생하는 모자이크와는 다르게 디지털 콘텐츠의 제작자가 의도적으로 모자이크 영역을 영상 내에 삽입하기도 한다. 다시 말해, 나체 사진과 같은 유해 영상 콘텐츠의 제작자는 영상물의 심의를 통과하기 위해서 유해 영상에서 인체의 중요한 부위를 모자이크를 사용하여 가린다[비특허문헌 4]. 또한 인터넷 블로그(blog)에서 초상권을 보호해야 할 필요가 있는 사람들의 얼굴, 흡연하는 장면, 문신, 칼과 같은 자극적일 수 있는 흉기, 간접 광고에 해당하지 않는 특정 회사의 상표, 잔인할 수 있는 장면, 그리고 실명, 주민등록번호, 주소, 자동차 번호판 등과 같이 노출되면 곤란한 개인정보 등이 영상 안에서 의도적으로 모자이크 처리된다.

이와 같이 최근 들어 모자이크는 다양한 멀티미디어의 실제 응용 분야에서 매우 유용하게 사용되고 있는데[비특허문헌 5], 영상의 복원이나 영상의 후속적인 처리를 위해서 모자이크 영역을 검출하는 작업의 필요성이 점점 더 증가하고 있다.

모자이크의 자동 검출과 관련하여 기존에 진행된 방법들을 살펴보면 다음과 같다.

[비특허문헌 3]은 공간적인 도메인과 에지 도메인에서 모자이크를 검출한다. 공간적인 도메인에서는 명암 값과 크기가 유사하며 인접한 네 개의 정사각형을 찾아 모자이크 매크로 블록으로 정의하였다. 그리고 이런 모자이크 매크로 블록의 집합을 하나의 모자이크 영역으로 설정하였다. 에지 도메인에서는 입력 영상으로부터 에지를 추출한 다음, 모자이크 블록의 가능한 4가지 형태의 코너를 템플릿으로 사용하여 모자이크 영역을 검출하였다.

[비특허문헌 6]은 DWT를 사용하여 영상에서 수직 방향의 고주파를 제거하고, 캐니(Canny) 연산자를 이용하여 에지를 추출한다. 그런 다음, 템플릿 정합을 통해 모자이크의 후보 영역을 찾는다. 마지막으로 SVM 분류기를 통해 후보 블록을 제거하고 실제적인 모자이크 블록들만을 선별한다.

[비특허문헌 7]은 매크로 블록에서 연속적인 에지를 검출하여 모자이크 영역을 추출한다. 먼저 에지 검출기를 이용하여 영상으로부터 에지를 검출한다. 그런 다음, 모든 매크로 블록에서 연속된 에지의 개수를 카운트하여 모자이크 블록의 여부를 결정한다.

이런 방법들 이외에도 모자이크를 검출하는 다른 방법들이 계속해서 연구되고 있다[비특허문헌 4, 8].

그러나 기존의 방법들은 아직까지는 다양한 영상을 대상으로 모자이크 영역을 강건하게 검출하지는 못하고 있는 실정이다. 따라서 영상 내에 존재하는 모자이크 블록을 경계 특징을 이용하여 강건하게 검출하는 방법의 개발이 필요하다.

[비특허문헌 1] B. Gan, T. Menkhoff, and R. Smith, "Enhancing students' learning process through interactive digital media: New opportunities for collaborative learning," Computers in Human Behavior, vol. 51, Part B, pp. 652-663, October 2015. [비특허문헌 2] S. Lee, S. Rho, and J. H. Park, "Multimedia contents adaptation by modality conversion with user preference in wireless network," Journal of Network and Computer Applications, vol. 37, pp. 25-32, January 2014. [비특허문헌 3] S.-F. Sun, S.-H. Han, G. Wang, Y.-C. Xu, and B.-J. Lei, "Mosaic defect detection in digital video," in Proceedings of the IEEE Chinese Conference on Pattern Recognition (CCPR), pp. 1-5, October 2010. [비특허문헌 4] Y.-J. Park and G.-Y. Kim, "A study on detection of mosaic in adult image," in Proceedings of the Korea Society of Computer and Information Conference, vol. 22, no. 1, pp. 63-64, 2014. [비특허문헌 5] D. Guo, J. Tang, Y. Cui, J. Ding, and C. Zhao, "Saliency-based content-aware lifestyle image mosaics," Journal of Visual Communication and Image Representation, vol. 26, pp. 192-199, January 2015. [비특허문헌 6] X. Huang, H. Ma, and H. Yuan, "Video mosaic block detection based on template matching and SVM," in Proceedings of the IEEE International Conference for Young Computer Scientist (ICYCS), pp. 1082??1086, November 2008. [비특허문헌 7] Z. Wei, J. Lin, L. Zhang, and S. Song, "Mosaic defect detection based on macro block solid edge detection," Research Journal of Applied Science, Engineering and Technology, no. 5, vol. 13, pp. 3549-3553, April 2013. [비특허문헌 8] J. Liu, L. Huang, and J. Lin, "An image mosaic block detection method based on fuzzy c-means clustering," in Proceedings of the IEEE International Conference on Computer Research and Development (ICCRD), vol. 1, pp. 237-240, March 2011. [비특허문헌 9] S. Nashat, A. Abdullah, and M. Z. Abdullah, "Unimodal thresholding for Laplacian-based Canny-Deriche filter," Pattern Recognition Letters, vol. 33, no. 10, pp. 1269-1286, July 2012. [비특허문헌 10] M. Sezgin and B. Sankur, "Survey over image thresholding techniques and quantitative performance evaluation," Journal of Electronic Imaging, vol. 13, no. 1, pp. 146-165, January 2004. [비특허문헌 11] X.-C. Yuan, L.-S. Wu, and Q. Peng "An improved Otsu method using the weighted object variance for defect detection," Applied Surface Science, vol. 349, pp. 472-484, September 2015.

본 발명의 목적은 상술한 바와 같은 문제점을 해결하기 위한 것으로, 입력 영상으로부터 캐니 에지를 검출하고, 검출된 에지로부터 모자이크 블록의 경계 특징을 추출하여 모자이크 블록이 존재할 가능성이 있는 후보 영역들을 찾고, 기하학적인 특징을 활용하여 비 모자이크 영역들을 제거하고 실제적인 모자이크 블록들만을 검출하는 경계 특징을 이용한 모자이크 블록 추출 방법을 제공하는 것이다.

상기 목적을 달성하기 위해 본 발명은 입력영상에 존재하는 모자이크 블록을 추출하는 경계 특징을 이용한 모자이크 블록 추출 방법에 관한 것으로서, (a) 상기 입력영상을 블록 단위로 분할하는 단계; (b) 상기 입력영상에서 에지를 검출하는 단계; (c) 분할된 각 블록에서 에지의 유무에 따라 모자이크 가능성 정도를 구하고, 모자이크 가능성 정도를 픽셀값으로 하는 블록 단위의 영상을 생성하여 이진화하고, 이진화된 영상을 레이블링하여 모자이크의 후보 영역을 추출하는 단계; (d) 상기 모자이크 후보 영역에 대하여 기하학적 특징을 이용하여 필터링을 수행하는 단계; 및, (e) 필터링을 한 후 남은 후보 영역들을 최종 모자이크 블록으로 추출하는 단계를 포함하는 것을 특징으로 한다.

또, 본 발명은 경계 특징을 이용한 모자이크 블록 추출 방법에 있어서, 상기 (b)단계에서, 입력 영상에 가우시안 커널을 회선시켜서 영상의 스무딩 작업을 수행하고 이중 임계화 방법으로 에지 점들을 연결하는 캐니 에지 검출 방법을 이용하여, 에지를 추출하는 것을 특징으로 한다.

또, 본 발명은 경계 특징을 이용한 모자이크 블록 추출 방법에 있어서, 상기 (c)단계에서, 각 블록의 모자이크 가능성 정도는 해당 블록 내에 존재하는 에지의 빈도수와 해당 블록에 대한 가중치를 이용하여 산출하되, 해당 블록의 가중치는 해당 블록 내에 수평 방향의 에지와 수직 방향의 에지의 유무에 따라 값이 설정되는 것을 특징으로 한다.

또, 본 발명은 경계 특징을 이용한 모자이크 블록 추출 방법에 있어서, 블록 B_i의 모자이크 가능성 정도 BM_i는 다음 수식 1에 의해 산출되는 것을 특징으로 한다.

[수식 1]

단, BW_i는 블록 B_i의 가중치이고, BE_i(x,y)는 블록 B_i 내의 (x, y) 좌표에서 에지가 존재하면 1, 존재하지 않으면 0의 값을 나타내고, N은 블록 B_i의 크기로서 블록 B_i는 N×N의 정방향 블록임.

또, 본 발명은 경계 특징을 이용한 모자이크 블록 추출 방법에 있어서, 각 블록의 모자이크 가능성 정도에 블록 단위의 잡음을 평균필터를 통해 제거하는 것을 특징으로 한다.

또, 본 발명은 경계 특징을 이용한 모자이크 블록 추출 방법에 있어서, 상기 (d)단계에서, 상기 기하학적 특징은 모자이크 후보 영역의 크기 특징, 가로와 세로의 종횡비 특징, 모자이크 가능성 정도의 평균 특징 중 어느 하나 이상을 포함하는 것을 특징으로 한다.

또, 본 발명은 경계 특징을 이용한 모자이크 블록 추출 방법에 있어서, 상기 모자이크 후보 영역 R_i의 크기 특징 F_size(R_i), 종횡비 특징 F_aspect(R_i), 및, 평균 특징 F_average(R_i)는 다음 [수식 2]에 의해 산출되는 것을 특징으로 한다.

[수식 2]

단, W와 H는 상기 입력영상의 가로와 세로의 길이를 나타내고, N(R_i)는 모자이크의 후보 영역 R_i 내에 포함된 화소들의 개수이고, MER_w(R_i)와 MER_h(R_i)는 각각 후보 영역 R_i의 최소 포함 사각형의 가로와 세로의 길이이고, M은 후보 영역 R_i에 포함된 블록들의 개수를 나타내고, BM_k는 블록 B_i의 모자이크 가능성 정도를 나타냄.

또한, 본 발명은 경계 특징을 이용한 모자이크 블록 추출 방법을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.

상술한 바와 같이, 본 발명에 따른 경계 특징을 이용한 모자이크 블록 추출 방법에 의하면, 다양한 종류의 입력 영상에서도 모자이크 블록들을 강건하게 검출할 수 있는 효과가 얻어진다.

도 1은 본 발명을 실시하기 위한 전체 시스템의 구성을 도시한 도면.
도 2는 본 발명의 일실시예에 따른 경계 특징을 이용한 모자이크 블록 추출 방법을 설명하는 흐름도.
도 3은 본 발명의 일실시예에 따른 블록 분할에 대한 예시도.
도 4는 본 발명의 일실시예에 따른 종횡비 특징에 대한 예시도.
도 5는 본 발명의 실험에 따른 영상으로서, (a) 입력 영상, (b) 에지 영상.
도 6은 본 발명의 실험에 따른 모자이크의 후보 영역 검출을 나타내는 예시 영상으로서, (a) 블록 모자이크의 가능성 정도를 나타낸 영상, 및, (b) 이진 영상.
도 7은 본 발명의 실험에 따른 모자이크 블록 검출 결과에 대한 예시 영상.
도 8은 본 발명의 실험에 따른 성능 비교를 나타낸 그래프.

이하, 본 발명의 실시를 위한 구체적인 내용을 도면에 따라서 설명한다.

또한, 본 발명을 설명하는데 있어서 동일 부분은 동일 부호를 붙이고, 그 반복 설명은 생략한다.

먼저, 본 발명을 실시하기 위한 전체 시스템의 구성의 예들에 대하여 도 1을 참조하여 설명한다.

도 1에서 보는 바와 같이, 본 발명에 따른 경계 특징을 이용한 모자이크 블록 추출 방법은 영상(또는 이미지)(10)을 입력받아 상기 영상(또는 이미지)에 대하여 모자이크 블록을 추출하는 컴퓨터 단말(20) 상의 프로그램 시스템으로 실시될 수 있다. 즉, 상기 모자이크 블록 추출 방법은 프로그램으로 구성되어 컴퓨터 단말(20)에 설치되어 실행될 수 있다. 컴퓨터 단말(20)에 설치된 프로그램은 하나의 프로그램 시스템(30)과 같이 동작할 수 있다.

한편, 다른 실시예로서, 경계 특징을 이용한 모자이크 블록 추출 방법은 프로그램으로 구성되어 범용 컴퓨터에서 동작하는 것 외에 ASIC(주문형 반도체) 등 하나의 전자회로로 구성되어 실시될 수 있다. 또는 영상에서 모자이크 블록을 추출하는 것만을 전용으로 처리하는 전용 컴퓨터 단말(20)로 개발될 수도 있다. 이를 모자이크 블록 추출 장치(40)라 부르기로 한다. 그 외 가능한 다른 형태도 실시될 수 있다.

한편, 영상(10)은 시간상으로 연속된 프레임으로 구성된다. 하나의 프레임은 하나의 이미지를 갖는다. 또한, 영상(10)은 하나의 프레임(또는 이미지)을 가질 수도 있다. 즉, 영상(10)은 하나의 이미지인 경우에도 해당된다.

다음으로, 본 발명의 일실시예에 따른 경계 특징을 이용한 모자이크 블록 추출 방법을 도 2를 참조하여 설명한다. 도 2는 본 발명에 따른 경계 특징을 이용한 모자이크 블록 추출 방법에 대한 전체적인 흐름도를 보여준다.

도 2에서 보는 바와 같이, 본 발명에 따른 경계 특징을 이용한 모자이크 블록 추출 방법은 블록 분할 단계(S10), 에지 검출 단계(S20), 후보 블록 추출 단계(S30), 필터링 단계(S40), 및, 모자이크 블록 검출 단계(S50)로 구성된다.

이하에서, 각 단계를 보다 구체적으로 설명한다.

먼저, 입력영상을 블록 단위로 분할한다(S10).

도 3에서 보는 바와 같이, 화소 단위가 아니라 블록 단위로 영상처리를 하기 위해서 받아들인 입력 영상을 N × N 화소 크기의 정방형의 블록 B_i로 분할한다. 여기에서 i는 전체 블록에서 몇 번째 블록인지를 나타내는 인덱스를 의미한다.

다음으로, 입력 영상에서 에지를 검출한다(S20).

바람직하게는, 입력 영상으로부터 캐니 에지를 추출한다[비특허문헌 9]. 일반적으로 캐니 에지는 영상처리 및 컴퓨터 비전 분야에서 가장 많이 사용하는 에지 검출 알고리즘 중의 하나이다. 보통 캐니 에지는 입력 영상에 가우시안(Gaussian) 커널을 회선(convolution)시켜서 영상의 스무딩 작업을 수행하고, 에지 점들의 효과적인 연결을 위해서 이중 임계화(double thresholding) 방법을 사용한다고 알려져 있다.

다음으로, 각 블록에서 에지의 유무에 따라 모자이크 가능성 정도를 구하여, 모자이크의 후보 영역을 추출한다(S30).

보통 모자이크 블록은 사각형의 모양을 가지고 있으며, 사각형 내에 있는 화소들은 모두 색상이 동일하다는 특성을 가진다. 따라서 모자이크 블록의 경계에는 일정 길이 이상의 수평 방향의 에지 H_edge와 수직 방향의 에지 V_edge들이 존재한다. 그리고 모자이크 블록 안에는 에지가 존재하지 않는다.

이런 특징을 반영하기 위해서 본 발명에서는 먼저 각 블록에 대한 가중치 BW_i를 다음 수학식 1과 같이 정의한다.

[수학식 1]

즉, 입력 영상 전체에 대하여 캐니 에지를 검출한 후, 각 블록에서 캐니 에지가 있는지 여부에 따라 가중치 BW_i를 구한다.

그런 다음, 모자이크 블록 B_i 내에 존재하는 에지의 빈도수(frequency)와 해당 블록에 대한 가중치 BW_i를 이용하여 각 블록에 대한 모자이크의 가능성 정도(block mosaicness)를 수학식 2와 같이 구한다.

[수학식 2]

여기에서 BE_i(x,y)는 i번째 블록 B_i의 (x, y) 좌표에서의 에지의 유무를 나타낸다. 즉, BE_i(x,y)는 (x, y) 위치에서 에지가 존재하면 1을, 그리고 존재하지 않으면 0의 값의 가진다. N은 블록의 가로 또는 세로의 길이를 의미한다.

마지막으로 다음 수학식 3과 같이 BM_i에 존재하는 블록 단위의 잡음을 평균필터(average filter)를 통해 제거하고 최종적인 모자이크의 가능성 정도를 정의한다.

[수학식 3]

여기서, BM_i(x,y)는 블록 BM_i를 중심으로 하는 블록단위의 좌표를 표시한다.

이와 같이 생성된 모자이크의 가능성 정도를 오쯔(Otsu)의 알고리즘을 적용하여 이진화한다[비특허문헌 10, 11]. 그런 다음, 이진화된 영역에 레이블링(labeling)을 적용하여 모자이크가 존재할 가능성이 있는 영역들을 모자이크의 후보 영역으로 검출한다. 오쯔 알고리즘과 레이블링은 블록 단위로 적용한다.

다음으로, 모자이크의 후보 영역들에 대하여 필터링을 수행한다(S40).

경계 특징과 에지를 이용하여 모자이크 블록들의 후보 영역을 추출한 다음에는, 비 모자이크 영역들을 제거하고 실제 모자이크 영역들만을 선택해야 한다. 본 발명에서는 기하학적인(geometric) 특징을 이용하여 모자이크 후보 영역들의 필터링 작업을 수행한다.

본 발명에서 사용하는 기하학적인 특징으로는 수학식 4와 같이 모자이크 후보 영역의 크기, 가로와 세로의 종횡비(aspect ratio), 모자이크 가능성 정도의 평균 특징을 활용한다. 수학식 4에서 R_i는 i번째 모자이크의 후보 영역을 나타낸다.

[수학식 4]

먼저, 크기 특징 F_size(R_i)로는 입력 영상의 전체 크기에 대한 모자이크 후보 영역이 차지하는 크기의 비율을 사용한다. 일반적으로 영상에서 모자이크 영역은 특정한 영역을 감추기 위한 용도로 사용되므로 사람이 구분할 수 있는 크기이어야 한다. 다시 말해, 모자이크 후보 영역의 크기가 전체 영상의 크기에 비해 너무 작아서 구분이 불가능하거나, 잡음이나 모자이크가 아니지만 모자이크와 유사한 격자 무늬로 인해 전체 영상이 모자이크의 후보 영역으로 검출될 경우 이들을 제거하기 위해 크기 특징이 사용된다.

따라서 수학식 5로 정의되는 크기 특징이 임계치 이상이어야 실제 모자이크 영역일 가능성이 높다.

[수학식 5]

여기서, W와 H는 영상의 가로와 세로의 길이를 나타내며, N(R_i)는 모자이크의 후보 영역 R_i 내에 포함된 화소들의 개수이다.

가로와 세로의 종횡비 특징 F_aspect(R_i)는 수학식 6과 같이 정의되는데, 가로나 세로 방향으로 치우쳐서 한쪽 방향으로 길게 나타날 수 있는 영역에 의한 모자이크의 오 검출을 막기 위해서 사용된다.

[수학식 6]

여기서, MER_w(R_i)와 MER_h(R_i)는 각각 후보 영역 R_i의 최소 포함 사각형의 가로와 세로의 길이이다. 종횡비 특징(Aspect ratio feature)에 대한 예시도가 도 4에 도시되고 있다.

다음으로, 모자이크의 가능성 정도의 평균 특징 F_average(R_i)는 수학식 7과 같이 정의되는데, 후보 영역의 모자이크 가능성 정도의 평균값이 한쪽으로 치우지지 않도록 유도하기 위해서 사용된다.

[수학식 7]

여기서, M은 후보 영역 R_i에 포함된 블록들의 개수를 나타낸다.

여기서 필터링의 의미는 수학식 5, 6, 7의 특징값을 이용하여 후보 영역 중에서 비 모자이크 영역들을 제거하고, 실제 모자이크 영역만을 선택하는 것을 의미한다. 한편, 위의 과정에서도 모두 블록단위로 계산된다. 예를 들어, 블록이 4×4인 경우, 후보 영역도 최소 (픽셀) 단위가 이 블록 크기 4×4이다.

마지막으로, 필터링을 한 후 남은 후보 영역들을 최종 모자이크 블록으로 선정한다(S50). 후보영역을 포함하는 최소 사각형을 후보 영역으로 선정한다.

다음으로, 본 발명의 효과를 실험을 통해 설명한다.

본 발명에서 실험을 위해 사용한 컴퓨터는 인텔 Core(TM) i7 2.93Ghz의 CPU와 8GB의 메모리로 구성되어 있으며, 마이크로소프트사의 윈도우 7 운영체제를 이용하였다. 그리고 마이크로소프트사의 비주얼 C++과 컴퓨터 비전관련 오픈 라이브러리인 OpenCV를 이용하여 제안된 알고리즘을 구현하였다. 본 발명에서는 제안된 경계 특징 기반의 모자이크 블록 검출 알고리즘의 성능을 비교 평가하기 위해서 특정한 제약사항(constraint)이 주어지지 않은 다양한 종류의 입력 영상들을 수집하여 사용하였다.

도 5(a)는 모자이크 블록들이 존재하는 실외 환경의 입력 영상의 한 예를 보여주고, 도 5(b)는 입력된 영상으로부터 캐니 에지 특징을 추출한 결과를 보여준다.

도 6(a)는 입력 영상으로부터 모자이크의 가능성 정도인 BM_i를 추출한 결과 영상을 보여주고, 도 6(b)는 오쯔(Otsu)의 방법을 통해 추출된 BM_i를 이진화하고 레이블링한 결과를 보여준다.

도 7은 기하학적인 특징을 사용하여 모자이크의 후보 영역을 필터링하여 최종적으로 선정한 실제적인 모자이크 블록 영역을 보여준다.

본 발명에서는 제안된 모자이크 검출 알고리즘의 성능을 수량적으로 평가하기 위해서 수학식 8과 같은 정확도 척도 R_detection를 사용하였다.

[수학식 8]

여기서, N_total은 영상에 존재하는 모자이크 영역의 전체 개수를 나타내고, N_accurate은 전체 모자이크 영역 중에서 정확하게 검출된 모자이크 영역의 개수를 나타낸다.

도 8은 수학식 8을 이용하여 템플릿 정합을 이용한 방법, 임계치를 이용한 방법, 그리고 제안된 방법의 모자이크 검출 알고리즘의 성능을 추출한 다음 그 결과를 그래프로 비교하여 보여준다.

도 8로부터 확인할 수 있듯이 경계 특징 기반의 제안된 본 발명의 방법이 다른 방법보다 정확하게 모자이크 영역을 검출한다. 다시 말해, 제안된 방법은 경계 특징을 이용하여 모자이크의 후보 영역을 검출한 다음 기하학적인 특징을 이용하여 후보 영역을 효과적으로 필터링하므로 보다 강건하게 모자이크 영역을 검출할 수 있다.

최근 들어 사진이나 동영상과 같은 디지털 시각 매체가 폭발적으로 증가함에 따라서 의도적 또는 비의도적으로 영상 내에 모자이크를 생성해야 할 필요성이 증가하고 있다. 본 발명에서는 모자이크 블록의 경계를 분석하여 모자이크 영역을 검출하는 방법을 새롭게 제안하였다. 제안된 방법에서는 먼저 입력 영상으로부터 에지를 검출하고, 검출된 에지로부터 모자이크 블록의 경계 특징을 추출하여 모자이크 블록의 후보 영역들을 찾는다. 그런 다음, 기하학적인 특징을 활용하여 비 모자이크 영역들을 필터링하고 실제적인 모자이크 블록들만을 검출한다. 실험 결과에서는 제안된 방법이 기존의 방법에 비해 보다 정확하게 모자이크를 검출한다는 것을 보여주었다.

이상, 본 발명자에 의해서 이루어진 발명을 상기 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것은 아니고, 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.

10 : 영상 20 : 컴퓨터 단말
30 : 프로그램 시스템

Claims (8)

1. 입력영상에 존재하는 모자이크 블록을 추출하는 경계 특징을 이용한 모자이크 블록 추출 방법에 있어서,
   (a) 상기 입력영상을 블록 단위로 분할하는 단계;
   (b) 상기 입력영상에서 에지를 검출하는 단계;
   (c) 분할된 각 블록에서 에지의 유무에 따라 모자이크 가능성 정도를 구하고, 모자이크 가능성 정도를 픽셀값으로 하는 블록 단위의 영상을 생성하여 이진화하고, 이진화된 영상을 레이블링하여 모자이크의 후보 영역을 추출하는 단계;
   (d) 상기 모자이크 후보 영역에 대하여 기하학적 특징을 이용하여 필터링을 수행하는 단계; 및,
   (e) 필터링을 한 후 남은 후보 영역들을 최종 모자이크 블록으로 추출하는 단계를 포함하고,
   상기 (d)단계에서, 상기 기하학적 특징은 모자이크 후보 영역의 크기 특징, 가로와 세로의 종횡비 특징, 모자이크 가능성 정도의 평균 특징 중 어느 하나 이상을 포함하고,
   상기 모자이크 후보 영역 R_i의 크기 특징 F_size(R_i), 종횡비 특징 F_aspect(R_i), 및, 평균 특징 F_average(R_i)는 다음 [수식 2]에 의해 산출되는 것을 특징으로 하는 경계 특징을 이용한 모자이크 블록 추출 방법.
   [수식 2]
   

   

   
   

   

   
   

   

   
   단, W와 H는 상기 입력영상의 가로와 세로의 길이를 나타내고, N(R_i)는 모자이크의 후보 영역 R_i 내에 포함된 화소들의 개수이고, MER_w(R_i)와 MER_h(R_i)는 각각 후보 영역 R_i의 최소 포함 사각형의 가로와 세로의 길이이고, M은 후보 영역 R_i에 포함된 블록들의 개수를 나타내고, BM_k는 블록 B_i의 모자이크 가능성 정도를 나타냄.
   
2. 제1항에 있어서,
   상기 (b)단계에서, 입력 영상에 가우시안 커널을 회선시켜서 영상의 스무딩 작업을 수행하고 이중 임계화 방법으로 에지 점들을 연결하는 캐니 에지 검출 방법을 이용하여, 에지를 추출하는 것을 특징으로 하는 경계 특징을 이용한 모자이크 블록 추출 방법.
   
3. 제1항에 있어서,
   상기 (c)단계에서, 각 블록의 모자이크 가능성 정도는 해당 블록 내에 존재하는 에지의 빈도수와 해당 블록에 대한 가중치를 이용하여 산출하되, 해당 블록의 가중치는 해당 블록 내에 수평 방향의 에지와 수직 방향의 에지의 유무에 따라 값이 설정되는 것을 특징으로 하는 경계 특징을 이용한 모자이크 블록 추출 방법.
   
4. 제3항에 있어서,
   블록 B_i의 모자이크 가능성 정도 BM_i는 다음 수식 1에 의해 산출되는 것을 특징으로 하는 경계 특징을 이용한 모자이크 블록 추출 방법.
   [수식 1]
   

   

   
   단, BW_i는 블록 B_i의 가중치이고, BE_i(x,y)는 블록 B_i 내의 (x, y) 좌표에서 에지가 존재하면 1, 존재하지 않으면 0의 값을 나타내고, N은 블록 B_i의 크기로서 블록 B_i는 N×N의 정방향 블록임.
   
5. 제3항에 있어서,
   각 블록의 모자이크 가능성 정도에 블록 단위의 잡음을 평균필터를 통해 제거하는 것을 특징으로 하는 경계 특징을 이용한 모자이크 블록 추출 방법.
   
6. 삭제
7. 삭제
8. 제1항 내지 제5항 중 어느 한 항의 경계 특징을 이용한 모자이크 블록 추출 방법을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
   

Images