KR101654287B1

KR101654287B1 - 신체의 구조를 기반으로 하는 배꼽 영역 검출 방법

Info

Publication number: KR101654287B1
Application number: KR1020150068611A
Authority: KR
Inventors: 장석우; 박영재
Original assignee: 안양대학교 산학협력단
Priority date: 2015-05-18
Filing date: 2015-05-18
Publication date: 2016-09-06

Abstract

입력영상을 분석하여 유해영상 검출에 유용하게 사용될 수 있는 배꼽 영역을 강인하게 검출하는 신체의 구조를 기반으로 하는 배꼽 영역 검출 방법에 관한 것으로서, (a) 피부의 색상 분포를 이용하여, 상기 입력영상에서 피부 영역을 추출하는 단계; (b) 추출된 피부 영역에서 눈과 입 영역을 검출하고, 검출된 눈과 입 영역을 이용하여 얼굴 영역을 추출하는 단계; (c) 상기 피부 영역에서 유두 맵을 이용하여 유두후보 영역을 획득하고, 상기 유두후보 영역 중에서 상기 얼굴 영역에 포함하는 영역은 제외시키고, 상기 유두후보 영역에 대하여 기하학적 특징과 색상 필터를 적용하여 유두 영역을 검출하는 단계; (d) 상기 입력영상에 각각 에지와 채도를 처리하여, 이진화된 에지 영상 및 채도 영상을 구하고, 상기 이진화된 에지 영상 및 채도 영상에서 중복되는 영역을 배꼽후보 영역으로 추출하는 단계; 및, (e) 상기 (c)단계에서 추출한 2개의 유두 영역의 중심들을 연결하는 직선의 중앙을 직교하는 직선에 가장 근접한 배꼽후보 영역을 배꼽영역으로 추출하는 단계를 포함하는 구성을 마련한다.
상기와 같은 배꼽 영역 검출 방법에 의하여, 에지와 채도로 배꼽후보 영역을 검출하고 유두영역을 검출하여 유두영역과의 신체 구조의 기하학적 특징을 이용하여 배꼽영역을 최종 추출함으로써, 신체의 구조를 이용하여 배꼽 영역을 신뢰성 있게 검출할 수 있다.

Description

신체의 구조를 기반으로 하는 배꼽 영역 검출 방법 { A Navel Area Detection Method Based on Body Structure }

본 발명은 입력영상을 분석하여 유해영상 검출에 유용하게 사용될 수 있는 배꼽 영역을 강인하게 검출하는 신체의 구조를 기반으로 하는 배꼽 영역 검출 방법에 관한 것이다.

또한, 본 발명은 입력영상으로부터 얼굴 영역을 찾은 다음, 유두 영역을 추출하고, 찾아진 유두 영역과의 구조적인 관계, 그리고 에지 영상과 채도 영상을 통합하여 적용함으로써 입력영상으로부터 배꼽 영역을 강건하게 검출하는 신체의 구조를 기반으로 하는 배꼽 영역 검출 방법에 관한 것이다.

유무선 인터넷 기술이 빠른 속도로 발전함에 따라서 텍스트, 영상, 애니메이션, 음악파일, 그리고 동영상과 같은 다양한 종류와 많은 양의 멀티미디어 정보들이 인터넷을 통해서 자유롭게 전달되고 있다. 인터넷을 통한 이러한 멀티미디어 정보의 자유로운 유통은 현대에 살고 있는 사람들의 생활을 매우 편리하게 하고 있다는 장점을 가지고 있다[비특허문헌 1].

그러나 인터넷이 이런 편리한 기능을 가진 반면에, 인터넷을 통해서 나체 사진이나 포르노와 같은 유해한 콘텐츠도 보다 용이하게 접근하고 저장될 수 있다는 단점도 존재한다. 그리고 이런 유해한 정보들은 어린아이와 청소년들의 육체적이고 정신적인 건강 상태를 해롭게 할 수 있다. 따라서 이런 유해 콘텐츠를 효과적으로 탐지하고 블로킹(blocking)하기 위한 방법들이 최근 들어 디지털 영상처리 분야의 중요한 연구주제가 되고 있다[비특허문헌 2].

유해 콘텐츠를 탐지하는 기존의 방법들은 관련된 문헌에서 많이 찾아볼 수 있다[비특허문헌 3-6]. [비특허문헌 3]은 피부색상을 이용한 방법으로 입력영상으로부터 사전에 정의된 피부색상 모델을 이용하여 피부영역을 검출한다. 그런 다음, 검출된 피부영역들이 나체 영역 안에 포함되어 있는지의 여부를 판단하여 유해 콘텐츠를 검출한다. [비특허문헌 4]는 압축된 데이터로부터 낮은 해상도의 영상을 제작하고 비주얼 어휘(vocabulary)를 추출한 후, 이를 SVM(support vector machine) 분류기에 적용하여 나체 영상인지를 찾아낸다. [비특허문헌 5]는 일정한 개수만큼 유해 영상과 비 유해 영상 데이터베이스를 구성한 다음, 질의 영상이 주어질 때 여러 특징을 사용하여 질의영상과 가장 유사한 영상들을 검색한다. 그리고 검색된 영상 내에 포함된 유해 영상의 개수가 임계치 이상이면 질의영상을 유해 영상으로 판단한다. [비특허문헌 6]은 입력영상으로부터 여성의 가슴 영역이 존재하는지의 여부를 판단하여 유해 영상인지를 판단한다. 이런 방법들 이외에도 유해 콘텐츠를 탐지하고 필터링하는 여러 가지 방법들이 소개되고 있으며, 앞으로도 계속해서 제안될 것이다[비특허문헌 7].

그러나 기존의 대부분의 알고리즘들은 기본적으로 인간의 피부색상을 기반으로 하여 유해 콘텐츠 검출을 시도하고 있다. 하지만 피부색상 기반의 방법들은 간단하다는 장점이 있는 반면, 여러 가지 환경에서 촬영된 모든 영상으로부터 피부영역만을 이용하여 성인 콘텐츠를 정확하게 검출하기에는 어느 정도 한계가 존재한다. 따라서 피부영역과 더불어 유해성을 대표하는 인체의 구성요소를 검출하는 방법들이 최근 들어 소개되고 있지만 아직까지는 그 성능이 만족할 만한 수준은 아니다.

[비특허문헌 1] J. Kim, N. Kim, D. Lee, S. Park, and S. Lee, "Watermarking Two Dimensional Data Object Identifier for Authenticated Distribution of Digital Multimedia Contents," Signal Processing: Image Communication, Vol. 25, No. 8, pp. 559-576, September 2010. [비특허문헌 2] S.-W. Jang, Y.-J. Park, G.-Y. Kim, H.-I. Choi, M.-C. Hong, "An Adult Image Identification System Based on Robust Skin Segmentation," Journal of Imaging Science and Technology, Vol. 55. No. 2, pp. 020508-1∼10, March 2011. [비특허문헌 3] J.-S. Lee, Y.-M. Kuo, P.-C. Chung, and E-L. Chen, "Naked Image Detection Based on Adaptive and Extensible Skin Color Model," Pattern Recognition, Vol. 40, No. 8, pp. 2261-2270, August 2007. [비특허문헌 4] L. Sui, J. Zhang, L. Zhuo, Y. C. Yang, "Research on Pornographic Images Recognition Method Based on Visual Words in a Compressed Domain," IET Image Processing, Vol. 6, pp. 87-93, 2012. [비특허문헌 5] J.-L. Shih, C.-H. Lee, and C.-S. Yang, "An Adult Images Identification System Employing Image Retrieval Technique," Pattern Recognition Letters, Vol. 28, No. 16, pp. 2367-2374, December 2007. [비특허문헌 6] S.-W. Jang, S.-I. Joo, G.-Y. Kim, "Active Shape Model-based Objectionable Images Detection," Journal of Korean Society for Internet Information, Vol. 10, No. 5, pp. 71-82, October 2009. [비특허문헌 7] L. Su, F. Zhang, and L. Ren, "An Adult Image Recognition Method Facing Practical Application," In Proc. of the International Symposium on Computational Intelligence and Design (ISCID), Vol. 2, pp. 273-276, 2013. [비특허문헌 8] R.-L. Hsu, M. Abdel-Mottaleb, and A. K. Jain, "Face Detection in Color Images," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 24, No. 5, pp. 696-706, May 2002. [비특허문헌 9] S.-W. Jang, Y.-J. Park, and M.-H. Huh, "Detection of Harmful Images Based on Color and Geometrical Features," Journal of Korea Academia-Industrial Cooperation Society, Vol. 14, No. 11, pp. 5834-5840, November 2013 [비특허문헌 10] M. Sezgin and B. Sankur, "Survey over Image Thresholding Techniques and Quantitative Performance Evaluation," Journal of Electronic Imaging, Vol. 13, No. 1, pp. 146-165, January 2004. [비특허문헌 11] S. Lou, X. Jiang, and P. J. Scott, "Algorithms for Morphological Profile Filters and Their Comparison," Precision Engineering, Vol. 36, No. 3, pp. 414-423, July 2012. [비특허문헌 12] H.-I. Choi, Computer Vision, Hongrung Publishing Company, January 2013.

본 발명의 목적은 상술한 바와 같은 문제점을 해결하기 위한 것으로, 입력영상으로부터 얼굴 영역을 찾은 다음, 유두 영역을 추출하고, 찾아진 유두 영역과의 구조적인 관계, 그리고 에지 영상과 채도 영상을 통합하여 적용함으로써 입력영상으로부터 배꼽 영역을 강건하게 검출하는 신체의 구조를 기반으로 하는 배꼽 영역 검출 방법을 제공하는 것이다.

또한, 본 발명은 유두 영역 추출시, 유두 맵을 생성하여 유두의 후보영역을 검출하고, 기하학적인 특징과 유두의 평균적인 색상필터를 사용하여 유두의 후보영역들을 두 단계로 필터링하여 실제적인 유두 영역만을 추출하는 신체의 구조를 기반으로 하는 배꼽 영역 검출 방법을 제공하는 것이다.

즉, 먼저 입력영상을 분석하여 피부 영역, 그리고 눈과 입을 포함한 얼굴 영역을 검출한다. 그런 다음, 추출된 피부영역 위에서 여성의 유두 영역을 검출한다. 마지막으로, 배꼽 영역의 후보 영역들을 추출하고, 관련된 특징들을 적용하여 후보 배꼽 영역들 중에서 실제 배꼽 영역만을 선택한다.

상기 목적을 달성하기 위해 본 발명은 입력영상을 대상으로 배꼽 영역을 검출하는 신체의 구조를 기반으로 하는 배꼽 영역 검출 방법에 관한 것으로서, (a) 피부의 색상 분포를 이용하여, 상기 입력영상에서 피부 영역을 추출하는 단계; (b) 추출된 피부 영역에서 눈과 입 영역을 검출하고, 검출된 눈과 입 영역을 이용하여 얼굴 영역을 추출하는 단계; (c) 상기 피부 영역에서 유두 맵을 이용하여 유두후보 영역을 획득하고, 상기 유두후보 영역 중에서 상기 얼굴 영역에 포함하는 영역은 제외시키고, 상기 유두후보 영역에 대하여 기하학적 특징과 색상 필터를 적용하여 유두 영역을 검출하는 단계; (d) 상기 입력영상에 각각 에지와 채도를 처리하여, 이진화된 에지 영상 및 채도 영상을 구하고, 상기 이진화된 에지 영상 및 채도 영상에서 중복되는 영역을 배꼽후보 영역으로 추출하는 단계; 및, (e) 상기 (c)단계에서 추출한 2개의 유두 영역의 중심들을 연결하는 직선의 중앙을 직교하는 직선에 가장 근접한 배꼽후보 영역을 배꼽영역으로 추출하는 단계를 포함하는 것을 특징으로 한다.

또, 본 발명은 신체의 구조를 기반으로 하는 배꼽 영역 검출 방법에 있어서, 상기 (a)단계에서, 피부 샘플들을 학습시켜서 타원형 피부색상 분포 모델을 생성하여, 학습된 피부 분포모델을 이용하여 상기 입력영상으로부터 피부영역을 추출하는 것을 특징으로 한다.

또, 본 발명은 신체의 구조를 기반으로 하는 배꼽 영역 검출 방법에 있어서, 상기 (b)단계에서, 눈 맵과 입술 맵을 상기 피부 영역에 적용한 후, 각각을 이진화하여 눈과 입 영역을 검출하고, 검출된 두 눈과 입 영역을 포함하는 최소 사각형을 그려 얼굴 영역으로 추출하는 것을 특징으로 한다.

또, 본 발명은 신체의 구조를 기반으로 하는 배꼽 영역 검출 방법에 있어서, 상기 (c)단계에서, 상기 유두후보 영역에 기하학적인 특징을 적용하여 1차적으로 필터링하고, 평균적인 유두 색상 필터를 적용하여 2차적으로 필터링하여, 유두 영역을 검출하는 것을 특징으로 한다.

또, 본 발명은 신체의 구조를 기반으로 하는 배꼽 영역 검출 방법에 있어서, 상기 기하학적 특징은 유두후보 영역의 크기, 유두후보 영역이 차지하는 면적과 유두후보 최소포함 사각형 면적의 상대적인 비율을 나타내는 밀집도, 유두후보 영역의 가로와 세로 길이의 상대적 비율인 연장도 중 어느 하나 이상을 포함하고, 상기 기하학적 특징이 사전에 정의된 범위 내에 포함되지 않으면 유두후보 영역에서 제거되는 것을 특징으로 한다.

또, 본 발명은 신체의 구조를 기반으로 하는 배꼽 영역 검출 방법에 있어서, 상기 평균적인 유두 색상 필터는 일정 개수의 유두 샘플 영상들을 50 × 50 화소 크기로 정규화하고, Cb와 Cr 채널별로 평균적인 색상을 구하여 생성하고, 1차적으로 필터링된 유두후보 영역과 평균적인 유두 색상 필터의 유사도를 비교하여 차이가 큰 유두후보 영역들을 후보군에서 제거하여 유두영역을 추출하는 것을 특징으로 한다.

또, 본 발명은 신체의 구조를 기반으로 하는 배꼽 영역 검출 방법에 있어서, 상기 (d)단계에서, 상기 입력영상에 소벨(Sobel) 에지를 적용하여 소벨 에지 영상을 획득하고, 오쯔(Otsu)의 방법으로 상기 소벨 에지 영상을 이진화하여 이진화된 에지 영상을 획득하고, 상기 입력영상을 채도 영상으로 변환하고, 오쯔(Otsu)의 방법으로 상기 채도 영상을 이진화하여 이진화된 채도 영상을 획득하는 것을 특징으로 한다.

또, 본 발명은 신체의 구조를 기반으로 하는 배꼽 영역 검출 방법에 있어서, 상기 이진화된 에지 영상 및, 상기 이진화된 채도 영상에 형태학적인 연산자 중에서 닫힘(closing) 연산자를 적용한 후, 이진화된 에지 영상 및 채도 영상에서 중복되는 영역을 배꼽후보 영역으로 추출하는 것을 특징으로 한다.

또, 본 발명은 신체의 구조를 기반으로 하는 배꼽 영역 검출 방법에 있어서, 상기 닫힘 형태학적 연산자는 다음 [수식 1]에 의해 연산되는 것을 특징으로 한다.

[수식 1]

단, B는 이진 영상을 나타내고, S는 구조화 요소이고,

는 팽창(dilation) 연산이고,

는 침식(erosion) 연산임.

또, 본 발명은 신체의 구조를 기반으로 하는 배꼽 영역 검출 방법에 있어서, 상기 팽창 연산은 구조화 요소인 S를 가지고 이진 영상을 스캔하면서 적어도 S의 한 요소가 이진 영상의 물체 영역인 B(화소 값이 1인 영역)와 겹치게 될 때 구조화 요소의 원점에 위치하는 화소 값을 1로 변환하고, 그렇지 않으면 0으로 설정하고, 상기 침식 연산은 구조화 요소 S를 가지고 이진 연산을 스캔하면서 S의 모든 화소가 이진 영상의 물체 영역 B(화소 값이 1인 영역)에 포함될 때에는 구조화 요소 S의 원점에 위치하는 화소의 값을 1로 설정하고, 그 이외의 경우에는 화소의 값을 0으로 설정하는 것을 특징으로 한다.

또한, 본 발명은 신체의 구조를 기반으로 하는 배꼽 영역 검출 방법을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.

상술한 바와 같이, 본 발명에 따른 신체의 구조를 기반으로 하는 배꼽 영역 검출 방법에 의하면, 에지와 채도로 배꼽후보 영역을 검출하고 유두영역을 검출하여 유두영역과의 신체 구조의 기하학적 특징을 이용하여 배꼽영역을 최종 추출함으로써, 신체의 구조를 이용하여 배꼽 영역을 신뢰성 있게 검출할 수 있는 효과가 얻어진다.

도 1은 본 발명을 실시하기 위한 전체 시스템의 구성을 도시한 도면.
도 2는 본 발명의 일실시예에 따른 신체의 구조를 기반으로 하는 배꼽 영역 검출 방법을 설명하는 흐름도.
도 3은 본 발명의 일실시예에 따른 소벨 마스크로서, (a) 수평 마스크(Horizontal mask), (b) 수직 마스크(Vertical mask)를 도시한 도면.
도 4는 본 발명의 일실시예에 따라 유두를 지나는 직선을 수직 이등분하는 직선을 도시한 도면.
도 5는 본 발명의 실험에 따른 에지 영상의 이진화(Edge map binarization)를 나타낸 영상으로서, (a) 에지영상(Edge map) (b) 이진화된 에지영상(Binarized edge map).
도 6은 본 발명의 실험에 따른 채도 영상의 이진화(Saturation map binarization)를 나타낸 영상으로서, (a) 채도영상(Saturation map) (b) 이진화된 채도영상(Binarized Saturation map).
도 7은 본 발명의 실험에 따른 유두 영역 및 배꼽 영역의 검출 결과(Navel detection result)로서, (a) 얼굴과 유두 검출 결과(Face and nipple detection), (b) 배꼽 검출 결과(Navel detection)에 대한 영상.
도 8은 본 발명의 실험에 따른 배꼽 검출 방법의 성능 평가(Performance evaluation)를 나타낸 그래프.

이하, 본 발명의 실시를 위한 구체적인 내용을 도면에 따라서 설명한다.

또한, 본 발명을 설명하는데 있어서 동일 부분은 동일 부호를 붙이고, 그 반복 설명은 생략한다.

먼저, 본 발명을 실시하기 위한 전체 시스템의 구성의 예들에 대하여 도 1을 참조하여 설명한다.

도 1에서 보는 바와 같이, 본 발명에 따른 신체의 구조를 기반으로 하는 배꼽 영역 검출 방법은 영상(또는 이미지)(10)을 입력받아 상기 영상(또는 이미지)에 대하여 유해성을 나타내는 인체의 배꼽 영역 검출을 수행하는 컴퓨터 단말(20) 상의 프로그램 시스템으로 실시될 수 있다. 즉, 상기 유해성을 나타내는 인체의 배꼽 영역 검출 방법은 프로그램으로 구성되어 컴퓨터 단말(20)에 설치되어 실행될 수 있다. 컴퓨터 단말(20)에 설치된 프로그램은 하나의 프로그램 시스템(30)과 같이 동작할 수 있다.

한편, 다른 실시예로서, 신체의 구조를 기반으로 하는 배꼽 영역 검출 방법은 프로그램으로 구성되어 범용 컴퓨터에서 동작하는 것 외에 ASIC(주문형 반도체) 등 하나의 전자회로로 구성되어 실시될 수 있다. 또는 영상을 대상으로 유해성을 가지는 인체의 배꼽 영역 검출만을 전용으로 처리하는 전용 컴퓨터 단말(20)로 개발될 수도 있다. 이를 검출 장치(40)라 부르기로 한다. 그 외 가능한 다른 형태도 실시될 수 있다.

한편, 영상(10)은 시간상으로 연속된 프레임으로 구성된다. 하나의 프레임은 하나의 이미지를 갖는다. 또한, 영상(10)은 하나의 프레임(또는 이미지)을 가질 수도 있다. 즉, 영상(10)은 하나의 이미지인 경우에도 해당된다.

다음으로, 본 발명의 일실시예에 따른 신체의 구조를 기반으로 하는 배꼽 영역 검출 방법을 도 2를 참조하여 설명한다. 도 2는 본 발명에 따른 유해 영상 검출에 유용하게 적용될 수 있는 인체의 배꼽 영역을 강인하게 검출하는 방법에 대한 전체적인 흐름도를 보여준다.

도 2에서 보는 바와 같이, 본 발명에 따른 신체의 구조를 기반으로 하는 배꼽 영역 검출 방법은 피부영역을 추출하는 단계(S10), 얼굴영역을 추출하는 단계(S20), 유두 영역을 검출하는 단계(S30), 배꼽 후보 영역을 추출하는 단계(S40), 및, 실제 배꼽 영역을 추출하는 단계(S50)로 구성된다.

이하에서, 각 단계를 보다 구체적으로 설명한다.

먼저, 입력영상을 분석하여 피부색상 영역을 검출한다(S10). 피부 영역 검출을 위해서는 피부의 색상 분포를 타원형 분포 모델(elliptical distribution model)로 가정하고, 피부 샘플들을 학습시켜서 타원형 피부색상 분포 모델을 생성한다. 그런 다음, 학습된 피부 분포모델을 이용하여 입력영상으로부터 피부영역을 추출한다[비특허문헌 2]. 즉, 입력영상 (x, y) 위치에서의 화소에 대한 Cb와 Cr 값이 타원형 모델의 타원 내부에 위치한다면, 해당 (x, y) 위치의 화소는 피부색상 화소라고 판단한다. 그렇지 않을 경우에는 비 피부색상 화소라고 판단한다.

다음으로, 추출된 피부영역 중에서 눈과 입을 포함한 얼굴 영역을 검출한다(S20).

피부영역을 추출한 다음에는 눈 맵(eye map)과 입술 맵(lip map)을 이용하여 추출된 피부영역으로부터 눈과 입 영역을 찾는다[비특허문헌 8]. 수학식 1은 입력영상에서 눈을 추출하기 위한 눈 맵 수식이다. 눈 맵은 YCbCr 공간에서 색상을 나타내는 맵인 EyeMapC와, 밝기를 나타내는 맵인 EyeMapL을 결합하여 생성한다. 수학식 1에서 g_σ(x,y)는 가우시안 함수를 나타낸다.

[수학식 1]

그리고

와

는 형태학적인 연산(morphological operation) [비특허문헌 11] 중에서 팽창(dilation)과 침식(erosion) 연산을 나타낸다.

수학식 2는 영상에서 입 영역을 검출하기 위해 사용하는 입 맵이다. 수학식 2에서 확인할 수 있듯이 영상에서 Cb 값과 Cr 값을 이용하여 수식을 정의하고 있다.

[수학식 2]

본 발명에서는 눈 맵과 입술 맵을 영상에 적용한 후 각각을 이진화하여 눈과 입 영역을 최종적으로 찾아낸다. 그런 다음, 눈과 입 영역을 포함하는 최소포함사각형을 그리고, 이 영역을 얼굴 영역으로 정의한다.

이 단계에서 추출하는 눈과 입을 포함한 얼굴영역은 다음 단계에서 추출하는 유두 후보영역 필터링의 정확도를 높이기 위함이다. 다시 말해, 얼굴 영역 내에는 유두 영역이 존재할 수 없다. 따라서 만일 얼굴 영역 내에 유두의 후보영역들이 위치한다면 모두 필터링하여 유두의 후보영역에서 제거할 수 있다.

다음으로, 유두 영역 또는 가슴영역을 검출한다(S30).

본 발명에서는 입력영상으로부터 여성의 노출된 가슴 영역을 검출하기 위해서 앞 단계(S10)에서 피부 분포 모델을 통해서 추출한 피부색상 영역에 수학식 3과 같이 정의되는 유두 맵(nipple map)을 적용하고, 추출된 유두 맵의 이진화(binarization)를 통하여 유두의 후보 영역들을 검출한다[비특허문헌 9]. 본 발명에서는 기본적으로 입력영상에서 유두 영역을 찾으면 노출된 여성의 가슴영역이 존재한다고 판단한다.

[수학식 3]

수학식 3에서 Y(x, y), Cb(x, y), Cr(x, y)는 각각 영상의 (x, y) 위치에서 화소가 가진 Y, Cb, Cr 값이다. 그리고 수학식 3의 모든 항들은 동일한 가중치를 적용하기 위해서 0에서 255 사이의 값으로 정규화되어 처리된다.

수학식 3에서 정의한 유두 맵은 일반적으로 유두 영역이 붉은 계통의 색상 값을 가지며, 밝기는 비교적 어두운 값을 가진다는 관찰을 기반으로 정의되었다. 본 발명에서 유두 맵을 적용하여 추출된 유두 맵 영상은 유두 영역일 가능성이 높은 화소일수록 밝게 표시되며, 반대로 유두 영역일 가능성이 낮은 화소일수록 어둡게 표시된다.

이와 같이 획득된 유두의 후보영역들에 기하학적인 특징을 적용하여 1차적으로 필터링한 다음, 평균적인 유두 색상필터를 적용하여 2차적으로 필터링함으로써 실제적인 유두 영역들만을 획득한다.

먼저, 기하학적인 특징으로는 유두 후보영역의 크기, 밀집도(compactness), 그리고 연장도(elongatedness) 특징을 활용한다. 여기에서 크기 특징은 후보영역이 포함하고 있는 화소의 개수를 의미한다. 밀집도 특징은 후보영역이 차지하는 면적과 후보영역 최소포함사각형 면적의 상대적인 비율을 의미한다. 그리고 연장도 특징은 후보영역의 가로와 세로 길이의 상대적인 비율을 의미한다. 다시 말해, 후보영역의 크기, 밀집도, 그리고 만일 해당 유두 후보영역의 연장도 특징이 사전에 정의된 범위 내에 포함되지 않는다면 후보영역에서 제거된다.

후보 영역의 2차 필터링에 사용되는 유두의 평균적인 색상필터는 일정 개수의 유두 샘플 영상들을 50 × 50 화소 크기로 정규화하고, Cb와 Cr 채널별로 평균적인 색상을 구하여 생성한다. 그런 다음, 1차적으로 필터링된 유두의 후보영역들과 유두의 평균 색상필터의 유사도를 비교하여 차이가 큰 후보영역들을 후보군에서 제거함으로써 실제적인 유두영역들만을 추출한다.

수학식 4는 유두의 후보영역과 평균색상 필터의 유사도를 비교하는 식이다. 수학식 4에서 T는 유두의 평균적인 색상필터를 나타내고, I_Cb와 I_Cr은 유두 후보영역에 대한 Cb와 Cr 값이다. 그리고 N은 색상필터의 가로 또는 세로의 길이를 나타낸다.

[수학식 4]

여기서, (x’,y’)은 색상필터 T의 가로와 세로의 위치를 나타내는 인덱스를 의미하고, (x,y)는 유두 후보영역 I_Cb와 I_Cr에 대한 가로와 세로의 위치를 나타내는 인덱스를 의미한다.

다음으로, 배꼽 후보 영역을 검출한다(S40).

본 발명에서는 에지와 채도를 이용하여 배꼽의 후보영역을 추출한다. 이를 위해 먼저 입력영상으로부터 소벨(Sobel) 에지를 추출한다. 일반적으로, 소벨 에지 연산자는 에지 추출의 가장 대표적인 1차 미분 연산자 중의 하나로, 도 3과 같은 수직 마스크(mask)와 수평 마스크를 이용하여 x 방향과 y 방향의 미분을 구한다. 그런 다음, x 방향의 미분과 y 방향의 미분을 결합하여 (x, y) 점에서의 에지의 크기와 방향을 수학식 5와 6을 이용하여 구할 수 있다.

[수학식 5]

[수학식 6]

이와 같이 소벨 에지 영상을 획득한 후에는 오쯔(Otsu)의 방법을 이용하여 에지 영상을 적응적으로 이진화한다[비특허문헌 10]. 일반적으로, 오쯔(Otsu)의 이진화 방법은 명암 히스토그램이 두 개의 확률밀도를 가질 때에 성능이 가장 우수하다고 알려져 있다.

그런 다음, 이진화된 에지 영상에 형태학적인 연산자(morphological operator) 중에서 닫힘(closing) 연산자를 적용한다[비특허문헌 11,12]. 일반적으로, 닫힘 형태학적 연산자는 물체의 원형은 유지하면서 물체 내의 빈 홀을 채우거나 매우 인접한 끊어진 물체들을 연결하는 효과를 갖는데, 수학식 7과 같이 표현된다.

[수학식 7]

수학식 7에서 B는 이진 영상을 나타내고, S는 구조화 요소(structuring element)를 의미한다. 그리고

는 팽창(dilation) 연산을 나타내고,

는 침식(erosion) 연산을 의미한다.

보통, 팽창 연산은 수학식 8과 같이 구조화 요소인 S를 가지고 이진 영상을 스캔하면서 적어도 S의 한 요소가 이진 영상의 물체 영역인 B(화소 값이 1인 영역)와 겹치게 될 때 구조화 요소의 원점에 위치하는 화소 값을 1로 변환하고, 그렇지 않으면 0으로 설정한다.

[수학식 8]

한편, 침식 연산은 수학식 9와 같이 구조화 요소 S를 가지고 이진 연산을 스캔하면서 S의 모든 화소가 이진 영상의 물체 영역 B(화소 값이 1인 영역)에 포함될 때에는 구조화 요소 S의 원점에 위치하는 화소의 값을 1로 설정하고, 그 이외의 경우에는 화소의 값을 0으로 설정한다.

[수학식 9]

다음으로는 입력영상을 HSI 색상 공간으로 변경하여 채도(saturation) 영상을 추출한다. 보통 배꼽 영역은 다른 신체 영역에 비해서 두드러진 특징이 많이 존재하지 않는다. 따라서 본 발명에서는 색상의 탁한 정도를 나타내는 채도를 활용하여 배꼽의 특징 추출을 시도한다.

본 발명에서는 배꼽 영역에 대한 채도를 추출해 본 결과 배꼽 영역 근처에서는 채도 값이 비교적 높게 분포한다는 사실을 확인하였다. 이와 같이 입력영상에 대한 채도 영상을 추출한 다음에는 에지 영상에 대한 처리와 마찬가지로 채도 영상을 오쯔(Otsu)의 방법을 이용하여 이진화한 다음, 닫힘 형태학적인 연산자를 적용한다.

이와 같이 추출된 이진화된 에지 영상과 채도 영상에서 일정 크기 이상의 중복되는 영역들을 배꼽의 후보영역으로 선택한다.

그런 다음, 인체의 구조적인 특징을 이용하여 최종적인 배꼽 영역을 획득한다(S50). 다시 말해, 이전 단계에서 추출한 두 개의 유두 영역의 중심들을 연결하는 직선의 중앙을 아래 방향으로 직교하는 직선에 가장 근접한 후보영역을 배꼽 영역이라고 판단한다. 수학식 10은 (x₁, y₁)과 (x₂, y₂)를 두 개의 유두 영역의 중심이라고 가정할 경우, 두 개 유두 영역을 연결하는 직선을 수직 이등분하는 직선의 방정식을 나타낸다. 수학식 10에서 a와 b는 직선의 방정식의 기울기와 y절편을 각각 의미한다.

[수학식 10]

그리고 도 4는 유두를 지나는 직선을 수직 이등분하는 직선을 그림으로 나타내고 있다.

다음으로, 실험을 통한 본 발명의 효과를 도 5 내지 도 8을 참조하여 보다 구체적으로 설명한다.

본 발명의 실험을 위해 사용한 컴퓨터는 인텔 Core(TM) i7 2.93Ghz의 CPU와 4GB의 메모리를 사용하였고, 운영체제로는 마이크로소프트사의 윈도우 7을 사용하였다. 그리고 알고리즘의 구현을 위해 사용한 프로그래밍 언어는 마이크로소프트사의 Visual C++과 OpenCV 라이브러리이다. 본 발명에서 제안된 방법의 성능을 비교 평가하기 위한 영상 데이터베이스로는 특정한 제약조건이 주어지지 않은 일반적인 환경에서 촬영된 다양한 종류의 성인영상과 비 성인영상을 수집하여 실험에 사용하였다.

도 5(a)는 입력 영상으로부터 추출한 에지 영상을 나타내며, 도 5(b)는 추출된 에지 영상을 이진화하고 형태학적인 연산자를 적용하여 후처리를 한 결과 영상을 보여준다.

도 6(a)는 입력 영상으로부터 추출한 채도 영상을 나타내며, 도 6(b)는 추출된 채도 영상을 이진화하고 후 처리를 한 결과 영상을 보여준다.

도 7(a)는 입력 영상으로부터 유두 영역을 검출한 결과를 보여준다. 그리고 도 7(b)는 에지 영상과 채도 영상을 통하여 획득한 배꼽의 후보 영역으로부터 신체의 기하학적인 구조 관계를 이용하여 최종적으로 배꼽 영역을 추출한 결과를 보여준다.

본 발명에서는 제안된 배꼽 영역 검출 방법의 성능을 정량적으로 평가하기 위해서 수학식 11을 이용하여 정확도를 평가하였다. 수학식 11에서 N_total은 성능 평가에 활용된 전체 입력 영상의 개수를 의미하고, N_detected는 입력 영상 중에서 정확하게 배꼽이 검출된 영상의 개수를 의미한다.

[수학식 11]

도 8은 수학식 11을 통해서 획득한 배꼽 검출 방법의 정확도 측정 결과를 그래프로 보여주고 있다.

본 발명에서는 배꼽 검출 방법의 정확도를 비교하기 위해서 제안된 방법 중에서 에지와 채도만을 이용하는 방법, 그리고 인체의 구조적인 특징을 결합한 제안된 방법 전체를 비교하였다. 도 8에서 확인할 수 있듯이 신체의 구조적인 관계를 적용하는 방법이 보다 신뢰성 있게 배꼽을 검출한다는 것을 확인할 수 있었다. 즉, 에지와 채도만을 이용한 방법에서는 배꼽 영역 검출에 오 검출이 존재하는 반면 신체의 구조를 기반으로 하는 방법은 이런 오 검출을 상당수 제거할 수 있음을 확인할 수 있었다.

본 발명에서는 입력된 영상을 분석하여 유해 콘텐츠를 검출하는데 유용하게 사용될 수 있는 배꼽 영역을 검출하는 새로운 방법을 제안하였다. 제안된 방법에서는 먼저 입력영상을 분석하여 눈과 입을 포함한 얼굴 영역과 피부영역을 검출하였다. 그리고 추출된 피부영역 위에서 여성의 유두 영역을 색상 정보를 이용하여 검출하였다. 그런 다음, 배꼽 영역의 후보 영역들을 추출하고, 관련된 특징들을 적용하여 후보 배꼽 영역들 중에서 실제 배꼽 영역만을 선택하였다. 실험 결과에서는 제안된 방법이 여러 입력영상으로부터 배꼽 영역을 신뢰성 있게 추출한다는 것을 보여 주었다.

이상, 본 발명자에 의해서 이루어진 발명을 상기 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것은 아니고, 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.

10 : 영상 20 : 컴퓨터 단말
30 : 프로그램 시스템

Claims

입력영상을 대상으로 배꼽 영역을 검출하는 신체의 구조를 기반으로 하는 배꼽 영역 검출 방법에 있어서,
(a) 피부의 색상 분포를 이용하여, 상기 입력영상에서 피부 영역을 추출하는 단계;
(b) 추출된 피부 영역에서 눈과 입 영역을 검출하고, 검출된 눈과 입 영역을 이용하여 얼굴 영역을 추출하는 단계;
(c) 상기 피부 영역에서 유두 맵을 이용하여 유두후보 영역을 획득하고, 상기 유두후보 영역 중에서 상기 얼굴 영역에 포함하는 영역은 제외시키고, 상기 유두후보 영역에 대하여 기하학적 특징과 색상 필터를 적용하여 유두 영역을 검출하는 단계;
(d) 상기 입력영상으로부터 에지 영상을 획득하고 획득된 에지 영상을 이진화하고, 상기 입력영상을 채도 영상으로 변환하고 변환된 채도 영상을 이진화하고, 상기 이진화된 에지 영상 및, 상기 이진화된 채도 영상에서 중복되는 영역을 배꼽후보 영역으로 추출하는 단계; 및,
(e) 상기 (c)단계에서 추출한 2개의 유두 영역의 중심들을 연결하는 직선의 중앙을 직교하는 직선에 가장 근접한 배꼽후보 영역을 배꼽영역으로 추출하는 단계를 포함하는 것을 특징으로 하는 신체의 구조를 기반으로 하는 배꼽 영역 검출 방법.
제1항에 있어서,
상기 (a)단계에서, 피부 샘플들을 학습시켜서 타원형 피부색상 분포 모델을 생성하여, 학습된 피부색상 분포 모델을 이용하여 상기 입력영상으로부터 피부영역을 추출하는 것을 특징으로 하는 신체의 구조를 기반으로 하는 배꼽 영역 검출 방법.
제1항에 있어서,
상기 (b)단계에서, 눈 맵과 입술 맵을 상기 피부 영역에 적용한 후, 각각을 이진화하여 눈과 입 영역을 검출하고, 검출된 두 눈과 입 영역을 포함하는 최소 사각형을 그려 얼굴 영역으로 추출하는 것을 특징으로 하는 신체의 구조를 기반으로 하는 배꼽 영역 검출 방법.
제1항에 있어서,
상기 (c)단계에서, 상기 유두후보 영역에 기하학적인 특징을 적용하여 1차적으로 필터링하고, 평균적인 유두 색상 필터를 적용하여 2차적으로 필터링하여, 유두 영역을 검출하는 것을 특징으로 하는 신체의 구조를 기반으로 하는 배꼽 영역 검출 방법.
제4항에 있어서,
상기 기하학적 특징은 유두후보 영역의 크기, 유두후보 영역이 차지하는 면적과 유두후보 최소포함 사각형 면적의 상대적인 비율을 나타내는 밀집도, 유두후보 영역의 가로와 세로 길이의 상대적 비율인 연장도 중 어느 하나 이상을 포함하고, 상기 기하학적 특징이 사전에 정의된 범위 내에 포함되지 않으면 유두후보 영역에서 제거되는 것을 특징으로 하는 신체의 구조를 기반으로 하는 배꼽 영역 검출 방법.
제4항에 있어서,
상기 평균적인 유두 색상 필터는 일정 개수의 유두 샘플 영상들을 50 × 50 화소 크기로 정규화하고, Cb와 Cr 채널별로 평균적인 색상을 구하여 생성하고, 1차적으로 필터링된 유두후보 영역과 평균적인 유두 색상 필터의 유사도를 비교하여 유사도가 사전에 정해진 크기 보다 큰 유두후보 영역들을 후보군에서 제거하여 유두영역을 추출하는 것을 특징으로 하는 신체의 구조를 기반으로 하는 배꼽 영역 검출 방법.
제1항에 있어서, 상기 (d)단계에서,
상기 입력영상에 소벨(Sobel) 에지를 적용하여 소벨 에지 영상을 획득하고, 오쯔(Otsu)의 방법으로 상기 소벨 에지 영상을 이진화하여 이진화된 에지 영상을 획득하고,
상기 입력영상을 채도 영상으로 변환하고, 오쯔(Otsu)의 방법으로 상기 채도 영상을 이진화하여 이진화된 채도 영상을 획득하고,
상기 이진화된 에지 영상 및, 상기 이진화된 채도 영상에 형태학적인 연산자 중에서 닫힘(closing) 연산자를 적용한 후, 이진화된 에지 영상 및 채도 영상에서 중복되는 영역을 배꼽후보 영역으로 추출하는 것을 특징으로 하는 신체의 구조를 기반으로 하는 배꼽 영역 검출 방법.
제7항에 있어서,
상기 닫힘 형태학적 연산자는 다음 [수식 1]에 의해 연산되는 것을 특징으로 하는 신체의 구조를 기반으로 하는 배꼽 영역 검출 방법.
[수식 1]

단, B는 이진 영상을 나타내고, S는 구조화 요소이고,
는 팽창(dilation) 연산이고,
는 침식(erosion) 연산임.
제8항에 있어서,
상기 팽창 연산은 구조화 요소인 S를 가지고 이진 영상을 스캔하면서 적어도 S의 한 요소가 이진 영상의 물체 영역인 B(화소 값이 1인 영역)와 겹치게 될 때 구조화 요소의 원점에 위치하는 화소 값을 1로 변환하고, 그렇지 않으면 0으로 설정하고,
상기 침식 연산은 구조화 요소 S를 가지고 이진 연산을 스캔하면서 S의 모든 화소가 이진 영상의 물체 영역 B(화소 값이 1인 영역)에 포함될 때에는 구조화 요소 S의 원점에 위치하는 화소의 값을 1로 설정하고, 그 이외의 경우에는 화소의 값을 0으로 설정하는 것을 특징으로 하는 신체의 구조를 기반으로 하는 배꼽 영역 검출 방법.
제1항 내지 제9항 중 어느 한 항의 신체의 구조를 기반으로 하는 배꼽 영역 검출 방법을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.