KR20190004061A

KR20190004061A - 에이다부스트를 이용한 인체 영역의 강인한 검출 방법

Info

Publication number: KR20190004061A
Application number: KR1020170084153A
Authority: KR
Inventors: 장석우
Original assignee: 안양대학교 산학협력단
Priority date: 2017-07-03
Filing date: 2017-07-03
Publication date: 2019-01-11
Also published as: KR101985474B1

Abstract

입력영상을 분석하여 유해영상 검출에 유용하게 사용될 수 있는 배꼽 영역을 강인하게 검출하는 에이다부스트를 이용한 인체 영역의 강인한 검출 방법에 관한 것으로서, (a) 피부의 색상 분포를 이용하여, 상기 입력영상에서 피부 영역을 추출하는 단계; (b) 상기 피부 영역에서 유두 맵(nipple map)을 이용하여 적어도 2개의 유두 영역을 추출하는 단계; (c) 상기 입력영상에 각각 에지와 채도를 처리하여 에지 영상 및 채도 영상을 구하고, 상기 에지 영상 및 채도 영상에서 중복되는 영역 중에서 상기 적어도 2개의 유두 영역과 사전에 정해진 기하학적인 범위 내에 위치하는 영역을 배꼽의 후보 영역으로 추출하는 단계; 및, (d) 상기 배꼽의 후보영역에서 하르-라이크(Harr-like) 특징을 추출하고, 하르-라이크 특징을 에이다부스트 분류기에 적용하고, 상기 에이다부스트 분류기의 결과에 따라 상기 배꼽의 후보영역이 배꼽 영역인지를 판단하여 추출하는 단계를 포함하는 구성을 마련하여, 배꼽 영역을 하르-라이크 특징과 에이다부스트 방법을 이용하여 강인하게 검출함으로써, 입력되는 칼라 영상으로부터 배꼽 영역을 기존의 방법 보다 더 정확하게 추출할 수 있다.

Description

에이다부스트를 이용한 인체 영역의 강인한 검출 방법 { A Robust Detection Method of Body Areas Using Adaboost }

본 발명은 입력되는 칼라 영상으로부터 영상의 유해성을 나타내는 요소인 사람의 배꼽 영역을 하르-라이크(Haar-like) 특징과 에이다부스트(Adaboost) 방법을 이용하여 강인하게 검출하는 에이다부스트를 이용한 인체 영역의 강인한 검출 방법에 관한 것이다.

특히, 본 발명은 입력 영상으로부터 색상 정보를 이용하여 사람의 유두 영역을 검출하고, 검출된 유두 영역과의 위치 정보를 사용하여 배꼽의 후보 영역을 검출하고, 하르-라이크 특징과 에이다부스트 방법을 이용한 필터링을 통해 실제 배꼽 영역들만을 검출하는 에이다부스트를 이용한 인체 영역의 강인한 검출 방법에 관한 것이다.

최근 들어, 중앙처리 장치의 성능이 우수하고 초고속의 유무선 네트워크 기능을 보유한 스마트 디바이스들의 급속한 확산 보급으로 인해 언제 어디서나 편리하게 인터넷을 통해서 다양한 종류의 영상 미디어를 획득하고 사용할 수 있게 되었다[비특허문헌 1]. 그리고 이런 영상 미디어들은 정보통신, 방송, 의료, 교육훈련, 교통, 군사, 게임, 애니메이션, 가상현실, CAD, 그리고 산업기술 등의 여러 가지 실제적인 응용 분야에 다양하게 적용되어 사용되고 있다[비특허문헌 2].

그러나 인터넷은 사회적으로 통제를 필요로 하는 개인정보가 노출된 영상 콘텐츠 역시 이용자들에게 무차별적으로 제공하고 있어 역기능을 발생시키고 있다[비특허문헌 3]. 다시 말해, 개인 정보나 노출된 신체의 부위가 포함된 영상 콘텐츠가 아무런 제제 없이 어린이와 청소년을 비롯한 판단력과 절제력이 부족한 일반인들에게 노출 및 유통되고 있어서 개인의 사생활을 침해할 뿐만 아니라 사회적으로도 큰 문제가 되고 있는 실정이다.

더군다나 노출된 중요 신체 부위를 포함한 영상 콘텐츠가 일반인들에게 공개된다면 당사자들에게 미칠 정신적인 피해와 부작용은 상상을 초월할 것으로 예상된다. 따라서 최근에는 사람의 중요 신체 부위가 노출된 유해 콘텐츠를 영상처리 및 컴퓨터 비전 기법을 이용하여 강인하게 검출하고, 검출된 유해 콘텐츠를 효과적으로 필터링하는 연구에 대해 관심이 집중되고 있다[비특허문헌 4].

다양한 종류의 입력 영상으로부터 유해 콘텐츠를 자동으로 검출하는 기존의 연구는 관련된 참고문헌들에서 찾아볼 수 있다. [비특허문헌 5]에서는 먼저 피부색 분류기를 이용하여 입력 영상으로부터 피부 색상 영역을 검출한다. 그런 다음, 영역 특징 분류기를 사용하여 앞서 검출된 피부색 영역의 비율과 위치 특징을 무해 또는 유해로 분류한다. [비특허문헌 6]에서는 세 가지 단계로 유해 콘텐츠를 검출한다. 첫 번째 단계에서는 배경으로부터 관심 영상(ROI)을 추출한다. 두 번째 단계에서는 가중치 마스크를 이용해 ROI를 분할된 영상과 구분한다. 마지막으로 ROI의 색상과 텍스처 특징을 비교하여 유해 유무를 결정한다. [비특허문헌 7]에서는 유해 영상과 비 유해 영상으로 구성된 영상 DB부터 영상 검색 기법을 이용해 유해 영상을 검출한다. 이 방법에서는 검색된 영상들에 포함된 유해 영상의 개수가 정해진 개수 이상이면 질의 영상을 유해 영상으로 결정한다. [비특허문헌 8]에서는 입력된 영상을 분석하고 유두와 같은 노출된 인체의 중요한 구성요소가 영상 내에 포함되어 있는지를 검출하여 유해 영상인지의 유무를 판단한다. 위에서 기술한 방법들 이외에도 유해 콘텐츠를 보다 강인하게 추출하기 위한 다양한 방법들이 계속해서 제안되고 있다.

위에서 기술한 여러 가지의 방법들도 어느 정도는 신뢰성 있게 유해 영상을 검출하지만 여전히 많은 제약사항들이 존재한다. 그리고 아직까지는 유해 영상 콘텐츠를 검출하는 기존의 방법들이 많은 오 검출을 포함하고 있는 것이 현재 실정이다.

A. Yousafzai, V. Chang, A. Gani, and R. M. Noor, "Multimedia Augmented m-Learning: Issues, Trends and Open Challenges," International Journal of Information Management, Vol. 36, No. 5, pp. 784-792, October 2016. X. L. Liu, W. Hu, C. Luo, and F. Wu, "Compressive Image Broadcasting in MIMO Systems with Receiver Antenna Heterogeneity," Signal Processing: Image Communication, Vol. 29, No. 3, pp. 361-374, March 2014. Y.-J. Park, S.-H. Weon, J.-K. Sung, H.-I. Choi and G.-Y. Kim, "Identification of Adult Images through Detection of the Breast Contour and Nipple," Information-An International Interdisciplinary Journal, Vol. 15, No. 7, pp. 2643-2652, July 2012. S.-W. Jang, Y.-J. Park, G.-Y. Kim, H.-I. Choi, and M.-C. Hong, "An Adult Image Identification System Based on Robust Skin Segmentation," Journal of Imaging Science and Technology, Vol. 55. No. 2, pp. 020508-1∼10, March 2011. J.-S. Yoon, G.-Y. Kim, and H.-I. Choi, "Dev- elopment of an Adult Image Classifier Using Skin Color," Journal of the Korea Contents Association, Vol. 9, No. 4, pp. 1-11, 2009. J.-Y Park, S.-S. Park, Y.-G. Shin, and D.-S. Jang, "A Novel System for Detecting Adult Images on the Internet," KSII Transactions on Internet and Information Systems, Vol. 4, No. 5, pp. 910-924, October 2010. J.-L. Shih, C.-H. Lee, and C.-S. Yang, "An Adult Images Identification System Employing Image Retrieval Technique," Pattern Recognition Letters, Vol. 28, No. 16, pp. 2367-2374, December 2007. S.-W. Jang and G.-Y. Kim, "Learning-Based Detection of Harmful Data in Mobile Devices," Mobile Information Systems, Hindawi, Article ID: 3919134, pp. 1-8, April 2016. K.-M. Lee, "Component-based Face Detection and Verification," Pattern Recognition Letters, Vol. 29, pp. 200-214, 2008. C. Gao, P. Li, Y. Zhang, J. Liu, L. Wang, "People Counting Based on Head Detection Combining Adaboost and CNN in Crowded Surveillance Environment," Neurocomputing, Vol. 208, pp. 108-116, October 2016. A. Mohamed, A. Issam, B. Mohamed, and B. Abdellatif, "Real-Time Detection of Vehicles Using the Haar-like Features and Artificial Neuron Networks," Procedia Computer Science, Vol. 73, pp. 24-31, 2015. C. Chai and Y. Wang, "Face Detection Based on Extended Haar-like Features," In Proc. of the Second International Conference on Mechanical and Electronics Engineering (ICMEE), Vol. 1, pp. 442-445, August 2010.

본 발명의 목적은 상술한 바와 같은 문제점을 해결하기 위한 것으로, 입력되는 칼라 영상으로부터 영상의 유해성을 나타내는 요소인 사람의 배꼽 영역을 하르-라이크(Haar-like) 특징과 에이다부스트(Adaboost) 방법을 이용하여 강인하게 검출하는 에이다부스트를 이용한 인체 영역의 강인한 검출 방법을 제공하는 것이다.

특히, 본 발명은 입력 영상으로부터 색상 정보를 이용하여 사람의 유두 영역을 검출하고, 검출된 유두 영역의 위치 정보와 에지 및 채도 영상을 사용하여 배꼽의 후보 영역을 검출하고, 하르-라이크 특징과 에이다부스트 방법을 이용한 필터링을 통해서 비 배꼽 영역을 제거하고 실제적인 배꼽 영역만을 강인하게 선택하는, 에이다부스트를 이용한 인체 영역의 강인한 검출 방법을 제공하는 것이다.

상기 목적을 달성하기 위해 본 발명은 입력영상을 대상으로 배꼽 영역을 검출하는 에이다부스트를 이용한 인체 영역의 강인한 검출 방법에 관한 것으로서, (a) 피부의 색상 분포를 이용하여, 상기 입력영상에서 피부 영역을 추출하는 단계; (b) 상기 피부 영역에서 유두 맵(nipple map)을 이용하여 적어도 2개의 유두 영역을 추출하는 단계; (c) 상기 입력영상에 각각 에지와 채도를 처리하여 에지 영상 및 채도 영상을 구하고, 상기 에지 영상 및 채도 영상에서 중복되는 영역 중에서 상기 적어도 2개의 유두 영역과 사전에 정해진 기하학적인 범위 내에 위치하는 영역을 배꼽의 후보 영역으로 추출하는 단계; 및, (d) 상기 배꼽의 후보영역에서 하르-라이크(Harr-like) 특징을 추출하고, 하르-라이크 특징을 에이다부스트 분류기에 적용하고, 상기 에이다부스트 분류기의 결과에 따라 상기 배꼽의 후보영역이 배꼽 영역인지를 판단하여 추출하는 단계를 포함하는 것을 특징으로 한다.

또, 본 발명은 에이다부스트를 이용한 인체 영역의 강인한 검출 방법에 있어서, 상기 (a)단계에서, 피부 색상 화소들을 학습시켜서 타원형 피부색상 분포 모델을 생성하여, 학습된 피부 분포모델을 이용하여 상기 입력영상으로부터 피부영역을 추출하는 것을 특징으로 한다.

또, 본 발명은 에이다부스트를 이용한 인체 영역의 강인한 검출 방법에 있어서, 상기 (b)단계에서, 피부 영역에서 유두 맵을 적용하고 오쯔(Otsu)의 이진화 방법과 레이블링(labeling)을 수행하여 유두의 후보 영역을 검출하고, 상기 유두의 후보 영역에 대하여 기하학적 특징을 적용하여 유두 영역을 검출하는 것을 특징으로 한다.

또, 본 발명은 에이다부스트를 이용한 인체 영역의 강인한 검출 방법에 있어서, 상기 기하학적 특징은 유두의 후보 영역의 크기, 유두후보 영역이 차지하는 면적과 유두후보 최소포함 사각형 면적의 상대적인 비율을 나타내는 밀집도, 유두후보 영역의 가로와 세로 길이의 상대적 비율인 연장도 중 어느 하나 이상을 포함하고, 상기 기하학적 특징이 사전에 정의된 범위 내에 포함되지 않으면 유두의 후보 영역에서 제거되는 것을 특징으로 한다.

또, 본 발명은 에이다부스트를 이용한 인체 영역의 강인한 검출 방법에 있어서, 상기 (c)단계에서, 상기 입력영상에 소벨(Sobel) 에지를 적용하여 소벨 에지 영상을 획득하고, 오쯔(Otsu)의 방법으로 상기 소벨 에지 영상을 이진화하여 이진화된 에지 영상을 획득하고, 상기 입력영상을 채도 영상으로 변환하고, 오쯔(Otsu)의 방법으로 상기 채도 영상을 이진화하여 이진화된 채도 영상을 획득하고, 상기 이진화된 에지 영상 및, 상기 이진화된 채도 영상에 형태학적인 연산자 중에서 닫힘(closing) 연산자를 적용한 후, 이진화된 에지 영상 및 채도 영상에서 중복되는 영역을 추출하는 것을 특징으로 한다.

또, 본 발명은 에이다부스트를 이용한 인체 영역의 강인한 검출 방법에 있어서, 상기 (c)단계에서, 상기 중복되는 영역이 상기 적어도 2개의 유두 영역의 중심들을 연결하는 선분을 수직으로 이등분하는 직선에서 사전에 정해진 범위 내에 위치하면, 배꼽의 후보 영역으로 추출되는 것을 특징으로 한다.

또, 본 발명은 에이다부스트를 이용한 인체 영역의 강인한 검출 방법에 있어서, 상기 (d)단계에서, 상기 배꼽의 후보 영역에서 적분영상을 구하고, 상기 적분영상에서 하르-라이크(Harr-like) 특징을 추출하고, 추출된 하르-라이크 특징들을 에이다부스트의 분류기에 입력하여, 배꼽 영역인지를 판단하여 검출하는 것을 특징으로 한다.

또, 본 발명은 에이다부스트를 이용한 인체 영역의 강인한 검출 방법에 있어서, 상기 적분영상 T(x,y)은 다음 [수식 1]에 의해 연산되는 것을 특징으로 한다.

[수식 1]

단, f(x', y')는 위치 (x', y')에서의 화소 값임.

또, 본 발명은 에이다부스트를 이용한 인체 영역의 강인한 검출 방법에 있어서, 상기 에이다부스트 분류기는 4단계의 계층적인 분류기(cascaded classifier)를 사용하는 것을 특징으로 한다.

또한, 본 발명은 에이다부스트를 이용한 인체 영역의 강인한 검출 방법을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.

상술한 바와 같이, 본 발명에 따른 에이다부스트를 이용한 인체 영역의 강인한 검출 방법에 의하면, 배꼽 영역을 하르-라이크 특징과 에이다부스트 방법을 이용하여 강인하게 검출함으로써, 입력되는 칼라 영상으로부터 배꼽 영역을 기존의 방법 보다 더 정확하게 추출할 수 있는 효과가 얻어진다. 특히, 실험을 통해, 본 발명이 기존의 방법 보다 1.6% 더 정확하게 추출할 수 있다.

또한, 본 발명에 따른 에이다부스트를 이용한 인체 영역의 강인한 검출 방법은 2차원이나 3차원의 유해 콘텐츠 검출 및 필터링과 관련된 여러 가지 응용 분야에서 매우 효과적으로 이용될 것으로 기대된다.

도 1은 본 발명을 실시하기 위한 전체 시스템의 구성을 도시한 도면.
도 2는 본 발명의 일실시예에 따른 에이다부스트를 이용한 인체 영역의 강인한 검출 방법을 설명하는 흐름도.
도 3은 본 발명의 일실시예에 따라 후보 배꼽 영역을 선택하는 방법을 나타낸 도면.
도 4는 본 발명의 일실시예에 따라 N 캐스케이드 분류기를 나타낸 도면.
도 5는 본 발명의 일실시예에 따른 하르라이크 특징들을 나타낸 예시 영상으로서, (a) 하르라이크 특징(Haar-like features), (b) 배꼽 이미지 샘플(Navel samples), (c) 확장된 하르라이크 특징들(Extended Haar-like features)을 나타낸 예시 영상.
도 6은 본 발명의 실험을 위한 에이다부스트 학습시 사용한 파라미터들의 목록을 나타낸 표.
도 7은 본 발명의 실험에 따른 유두 맵 검출 결과에 대한 예시 영상으로서, (a) 피부 영역(skin regin), (b) 유두 맵의 이진화 결과(nipple map binarization)에 대한 예시 영상.
도 8은 본 발명의 실험에 따른 유두 검출 결과의 예시 영상으로서, (a) 유두 검출 결과(nipple detection), (b) 배꼽 검출 결과(Navel detection)에 대한 예시 영상.
도 9는 본 발명의 실험에 따른 배꼽 검출 방법의 성능 평가(Performance evaluation)를 나타낸 그래프.

이하, 본 발명의 실시를 위한 구체적인 내용을 도면에 따라서 설명한다.

또한, 본 발명을 설명하는데 있어서 동일 부분은 동일 부호를 붙이고, 그 반복 설명은 생략한다.

먼저, 본 발명을 실시하기 위한 전체 시스템의 구성의 예들에 대하여 도 1을 참조하여 설명한다.

도 1에서 보는 바와 같이, 본 발명에 따른 에이다부스트를 이용한 인체 영역의 강인한 검출 방법은 영상(또는 이미지)(10)을 입력받아 상기 영상(또는 이미지)에 대하여 유해성을 나타내는 인체의 배꼽 영역 검출을 수행하는 컴퓨터 단말(20) 상의 프로그램 시스템으로 실시될 수 있다. 즉, 상기 인체 영역의 강인한 검출 방법은 프로그램으로 구성되어 컴퓨터 단말(20)에 설치되어 실행될 수 있다. 컴퓨터 단말(20)에 설치된 프로그램은 하나의 프로그램 시스템(30)과 같이 동작할 수 있다.

한편, 다른 실시예로서, 에이다부스트를 이용한 인체 영역의 강인한 검출 방법은 프로그램으로 구성되어 범용 컴퓨터에서 동작하는 것 외에 ASIC(주문형 반도체) 등 하나의 전자회로로 구성되어 실시될 수 있다. 또는 영상을 대상으로 유해성을 가지는 인체의 배꼽 영역 검출만을 전용으로 처리하는 전용 컴퓨터 단말(20)로 개발될 수도 있다. 이를 검출 장치(40)라 부르기로 한다. 그 외 가능한 다른 형태도 실시될 수 있다.

한편, 영상(10)은 시간상으로 연속된 프레임으로 구성된다. 하나의 프레임은 하나의 이미지를 갖는다. 또한, 영상(10)은 하나의 프레임(또는 이미지)을 가질 수도 있다. 즉, 영상(10)은 하나의 이미지인 경우에도 해당된다.

다음으로, 본 발명의 일실시예에 따른 에이다부스트를 이용한 인체 영역의 강인한 검출 방법을 도 2를 참조하여 설명한다. 도 2는 본 발명에 따른 유해 영상 검출에 유용하게 적용될 수 있는 인체의 배꼽 영역을 강인하게 검출하는 방법에 대한 전체적인 흐름도를 보여준다.

도 2에서 보는 바와 같이, 본 발명에 따른 에이다부스트를 이용한 인체 영역의 강인한 검출 방법은 피부영역을 추출하는 단계(S10), 유두 영역을 검출하는 단계(S20), 위치관계를 이용하여 배꼽 후보 영역을 추출하는 단계(S30), 및, 에이다부스트 학습을 이용하여 실제 배꼽 영역을 추출하는 단계(S40)로 구성된다.

이하에서, 각 단계를 보다 구체적으로 설명한다.

먼저, 입력 영상에서 피부영역을 추출한다(S10).

즉, 입력 영상을 분석하여 사람의 피부 색상(skin color) 분포 영역을 검출한다. 구체적으로, 피부 영역 검출을 위해 사전에 피부 색상 분포를 타원형 분포 모델로 가정하고 피부 색상 화소들을 학습시켜서 타원형 분포 모델의 여러 파라미터들을 획득한다. 그런 다음, 학습된 타원형 피부 색상 분포 모델을 사용하여 입력된 테스트 영상으로부터 피부 색상 영역만을 수학식 1과 같이 분할한다[비특허문헌 9].

[수학식 1]

여기서, F_color(x, y)는 영상의 위치 (x, y)에서의 색상 값을 나타내고, Model_skin은 사전에 정의된 타원형 모양의 피부 색상 분포 모델을 의미한다.

다음으로, 피부 영역에서 유두 영역을 추출한다(S20).

즉, 영상으로부터 피부 색상 영역을 추출한 다음에는, 검출된 피부 색상 영역에 [수학식 2]와 같이 정의되는 유두 맵(nipple map)을 적용한다. 그리고 오쯔(Otsu)의 적응적인 이진화와 레이블링(labeling)을 수행하여 유두의 후보 영역들을 검출한다.

[수학식 2]

여기서, Y(x, y), C_b(x, y), C_r(x, y)는 영상의 (x, y) 위치에서의 YC_bC_r 색상 모델 구성요소의 값이다.

그리고 바람직하게는, [수학식 2]에서 계산의 편리성을 위해 사용된 모든 항은 0에서 255 사이의 값으로 정규화된다.

본 발명에서는 보통 사람의 유두 영역이 붉은 계열의 색상을 가지고, 상대적으로 어두운 밝기 값을 가진다는 사실로부터 유두 맵을 유도하였다. 본 발명에서 생성된 유두 맵 영상은 유두일 가능성이 높은 화소일수록 밝은 명암 값으로 표시되며, 반대로 유두일 가능성이 낮은 화소일수록 어두운 명암 값으로 표시된다.

유두 맵을 적용하여 1차적으로 검출된 유두의 후보 영역들은 기하학적인 특징을 이용하여 필터링한다. 본 발명에서는 기하학적인 특징으로 유두 후보 영역의 크기 특징, 밀집도 특징, 연장도 특징을 사용한다. 여기에서 크기 특징은 유두의 후보 영역이 차지하고 있는 화소의 전체 개수를 나타내고, 밀집도 특징은 후보 영역이 차지하는 면적과 후보 영역 최소포함사각형(MER) 면적의 상대적인 비율을 나타낸다. 그리고 연장도 특징은 후보 영역의 가로 길이와 세로 길이의 상대적인 비율을 나타낸다. 본 발명에서는 후보 영역의 크기 특징, 밀집도 특징, 연장도 특징이 사전에 정의된 임계치보다 작을 경우에는 후보 영역이 비 유두 영역이라고 판단하여 후보 영역에서 제외한다.

다음으로, 유두 영역과의 위치 관계를 이용하여 배꼽의 후보 영역을 추출한다(S30). 즉, 에지와 채도, 그리고 검출된 유두 영역과의 상대적인 위치 좌표를 이용하여 배꼽의 후보 영역을 추출한다.

먼저 입력 영상으로부터 소벨 에지를 검출한 다음, 오쯔(Otsu)의 이진화 방법을 이용해 검출된 에지를 이진화한다. 그리고 이진화된 에지 영상에 닫힘(closing) 형태학적 연산자(morphological operator)를 적용한다. 보통 닫힘 형태학적인 연산자는 객체의 기본적인 형태는 유지하면서 객체 내부에 위치한 구멍(hole)을 채우거나 인접해 있는 단절된 영역들을 결합하는 역할을 수행한다.

그런 다음, 입력 영상으로부터 채도(Saturation) 영상을 추출한다. 일반적으로 배꼽 영역의 근처에서는 채도가 비교적 높게 분포한다는 특징이 있다. 따라서 본 발명에서는 입력 영상으로부터 채도 영상을 추출한 다음에는 에지 영상과 마찬가지로 오쯔(Otsu)의 방법을 이용하여 이진화하고 닫힘 형태학적인 연산자를 적용한다.

한편, 바람직하게는, 에지 영상과 채도 영상을 구할 때 입력영상 중 피부영역 내에서만 구할 수 있다.

위에서 추출한 에지 영상과 채도 영상으로부터 [수학식 3]과 같이 서로 중첩되면서, 일정 크기 이상이 되는 영역들을 선정한다.

[수학식 3]

여기서, E(x, y)는 에지 영상을 나타내고, S(x, y)는 채도 영상을 나타낸다. 그리고 N(x, y)는 추출된 에지 영상과 채도 영상이 서로 중첩된 영상을 나타낸다.

그런 다음, 기 검출된 유두 영역과의 신체적인 위치 관계를 이용하여 배꼽의 후보 영역을 선정한다. 즉, 본 발명에서는 기 검출된 두 개의 유두 영역의 중심을 연결하는 선분을 수직으로 이등분하는 직선에 근접한 영역들을 배꼽의 후보 영역으로 선택한다. 도 3은 배꼽의 후보 영역들을 선정하는 개략적인 처리 과정을 보여준다.

다음으로, 필터링을 통해 배꼽의 후보영역에서 배꼽 영역을 검출한다(S40).

부스트(Boost)란 데이터로부터 결과를 산출할 때 약한 선택 기준들을 합하여 정확성이 보다 높은 선택 기준을 생성하는 방법이다. 부스트 방법의 장점은 가정에 의해 결과가 부정확하게 도출될 확률을 줄여주고, 판단하기 어려운 문제를 올바른 방향으로 판단할 수 있는 확률을 높여준다.

에이다부스트(Adaboost: adaptive boosting) 방법[비특허문헌 10]은 가장 잘 알려진 부스트 방법이면서, 단순하면서도 효율적이라는 장점 또한 가지고 있다. 에이다부스트 학습 방법을 이용하면 학습이 진행될수록 대상 객체를 잘 표현하는 특징 값을 보다 많이 획득할 수 있어서 강력한 인식 방법을 생성할 수 있다. 그리고 에이다부스트 방법을 이용하여 추출한 특징 값들을 도 4와 같이 단계별로 그룹화하여 사용한다.

즉, 그룹화를 통해 보다 강력한 인식 방법을 구현할 수 있다. 다시 말해, 첫 번째 단계에서는 적은 수의 특징 값을 가지고 일정한 수준의 판별 능력을 가진 특징 값들을 그룹화하고, 다음 단계에서는 첫 번째 단계에서보다 많은 수의 특징 값들을 가지고 전 단계와 유사한 판별 능력을 가지는 그룹을 생성한다.

본 발명에서는 에이다부스트 방법[비특허문헌 10]을 이용한 학습 및 인식을 통하여 이전 단계에서 검출한 배꼽의 후보 영역이 비 배꼽 영역인지 아니면 실제 배꼽 영역인지의 유무를 검증한다.

일반적으로 에이다부스트 방법은 성능을 향상시키기 위해서 다른 많은 형태의 학습 방법과 결합하여 사용될 수 있다는 장점이 있다. 그리고 에이다부스트는 어떤 주어진 학습 방법의 정확도를 향상시키기 위해 고안한 방법으로 성능이 다소 떨어지는 약 분류기들을 조합하여 강 분류기를 만드는 방법 중의 하나이다.

에이다부스트 방법은 이전의 분류기에 의해 잘못 분류된 샘플들을 이어지는 약한 학습기들이 수정해 줄 수 있다는 사실에서 다양한 상황에 적용할 수 있다. 따라서 에이다부스트는 잡음이 많은 데이터와 아웃라이어(outlier)에 취약한 모습을 보여준다. 그러나 다른 상황에서는 다른 학습 방법보다 과적합(overfitting)에 보다 덜 취약하다는 특징을 가지기도 한다. 개별적인 학습기들의 성능이 다소 낮더라도 각각의 성능이 무작위 추정보다 좋다면 최종적인 모델은 강한 학습기로 수렴한다.

본 발명에서는 학습 및 인식을 위해 도 5와 같이 확장된 하르-라이크(Harr-like) 특징을 사용하였다[비특허문헌 11]. 하르-라이크 특징은 비올라(Viola)와 존스(Jones)에 의해 처음으로 얼굴 검출에 소개되었다. 이 특징은 사각형 형태의 특징이고, 특징 값은 어두운 부분의 모든 화소 값의 합과 밝은 부분의 모든 화소 값의 합의 차이로 표현된다.

즉, 하르라이크 특징은 입력된 영상 위에 마스크(mask)로 사용되는 흑백의 사각형을 겹쳐 놓은 다음, 밝은 사각형 영역에 속한 영상 픽셀 값들의 평균에서 어두운 사각형 영역에 속한 영상 픽셀 값들의 평균의 차이이다. 즉, 하르 라이크 특징을 후보영역의 적분영상에 적용하여, 배꼽의 후보영역의 크기와 같은 하르라이크 영상을 얻는다.

하르-라이크 특징은 보통 사각형 모양을 취하므로 적분을 이용하면 빠르게 계산할 수 있다. 예를 들어, 원래 영상에서 특정 위치 (x, y)에서의 적분 영상의 값은 위치 (0, 0)에서 위치 (x, y)까지의 화소 값들의 합이다. 위치 (x, y)에서의 적분 영상 T(x, y)는 [수학식 4]와 같이 정의될 수 있다.

[수학식 4]

여기서 f(x', y')는 위치 (x', y')에서의 화소 값이다.

일반적으로, 원래의 영상을 적분으로 변경하기 까지는 시간이 다소 소요되지만, 일단 적분 영상이 만들어지면 하르-라이크 특징은 빠른 속도로 계산될 수 있다. 하르-라이크 특징을 연산할 때 마스크 영역에 대한 영상 픽셀들의 평균을 구하기 위해서는 그 영역에 대한 픽셀들의 합을 먼저 구한 다음에 픽셀들의 개수로 나누어야 한다. 따라서 영역 내에 속한 픽셀 값들의 합을 일일이 더해서 구할 수도 있으나 사전에 적분영상 형태로 구해 놓으면 후보 영역에 대한 하르라이크 특징을 구할 때 보다 편하고 빠르게 계산을 수행할 수 있다.

그리고 확장된 하르-라이크 특징은 라인하르트(Lienhart) 등에 의해 제안되었는데, 기본적인 하르-라이크 특징들의 기본적인 집합을 상당수 확장시키면서 보다 좋은 인식률을 산출할 수 있게 해 준다[비특허문헌 12].

다음으로, 실험을 통한 본 발명의 효과를 도 6 내지 도 7을 참조하여 보다 구체적으로 설명한다.

본 발명에서 실험을 위해 이용한 컴퓨터는 인텔 Core(TM) i7 2.93Ghz의 CPU와 8GB의 메인 메모리로 구성되어 있으며, 윈도우즈 7 운영체제를 이용하였다. 그리고 마이크로소프트의 비주얼 스튜디오와 OpenCV 오픈 라이브러리를 이용하여 제안된 방법을 구현하였다. 본 발명에서는 제안된 방법의 성능을 비교 평가하기 위해서 배꼽 영역들이 포함된 여러 가지 종류의 실내·외 입력 영상들을 수집하여 활용하였다.

본 발명에서는 에이다부스트 분류기를 계층적으로 적용하여 사용하였다. 즉, 4단계의 계층적인 분류기(cascaded classifier)를 사용하였고, 학습을 위해서 positive 영상 215장과 negative 영상 2,354장을 사용하였다. 학습영상의 크기는 30×30으로 정규화 하였다. 실험적으로 판단해 볼 때, 4단계를 사용할 때 분류기의 복잡도에 비해서 좋은 성능이 산출되었다. 도 6은 본 발명의 계층적인 에이다부스트 방법에서 사용한 파라미터들의 목록을 표로 보여준다.

도 7(a)는 입력된 영상으로부터 사람의 피부 영역을 검출한 결과를 보여준다. 그리고 도 7(b)는 검출된 피부 색상 영역으로부터 유두 맵을 적용하여 추출한 유두 맵 영상을 이진화한 결과를 보여준다.

도 8(a)는 입력된 영상으로부터 사람의 유두 영역을 검출한 결과를 보여주며, 도 8(a)(b)는 배꼽 영역을 최종적으로 추출한 결과를 보여준다.

본 발명에서는 제안된 배꼽 추출 방법의 성능을 수량적으로 비교 평가하기 위해서 [수학식 5]과 같은 정확도 척도를 이용하였다.

[수학식 5]

여기서, NO_accurate은 입력된 영상 중에서 정확하게 검출한 배꼽 영상의 개수를 나타내고, NO_input은 입력된 전체 영상의 개수를 나타낸다. [수학식 5]에서 성능은 백분율로 표시된다.

도 9는 [수학식 5]를 통해서 얻은 배꼽 영역의 정확도 측면의 성능 측정 결과를 그래프로 나타내고 있다. 본 발명에서는 배꼽 영역 추출 방법의 정확도를 비교 평가하기 위해서, 제안된 방법에서 유두 검출과 검출된 유두로부터의 위치 관계를 이용한 방법, 그리고 에이다부스트 방법을 이용한 제안된 방법 전체를 평가하였다. 위치관계만을 이용한 방법은 검출된 두 개의 유두 영역의 중심을 연결하는 선분을 수직으로 이등분하는 직선에 근접한 영역들을 배꼽의 후보 영역으로 선택한다. 도 9에서 확인할 수 있듯이 제안된 하르-라이크 특징과 에이다부스트 방법을 이용한 방법이 보다 정확하게 배꼽 영역을 검출한다는 것을 확인할 수 있었다. 다시 말해, 유두와의 단순한 위치 관계를 이용한 방법에서는 후보 배꼽 영역들의 정확한 검증이 제대로 수행되지 않아 오 검출이 많이 발생하는 반면, 제안된 방법에서는 에이다부스트 학습 및 인식 방법을 통해서 배꼽의 후보 영역에 대한 검증을 보다 정확하게 진행할 수 있었다.

최근 들어, 나체 사진과 같은 유해한 영상 콘텐츠를 영상처리 및 패턴 인식 기법을 이용하여 효과적으로 검출하기 위한 시도들이 많이 진행되고 있다. 본 발명에서는 하르-라이크 특징과 확장된 에이다부스트 방법을 이용하여 입력 영상으로부터 사람의 배꼽 영역을 강인하게 검출하는 방법을 제안하였다. 먼저 입력 영상으로부터 유두 영역을 찾고, 유두 영역과의 위치적인 특징을 이용하여 배꼽의 후보 영역들을 검출하였다. 그런 다음, 하르-라이크 특징과 확장된 에이다부스트 방법을 이용하여 배꼽의 후보 영역들을 효과적으로 필터링을 함으로써 비 배꼽 영역을 제거하고 실제 배꼽 영역만을 강건하게 추출하였다.

이상, 본 발명자에 의해서 이루어진 발명을 상기 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것은 아니고, 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.

10 : 영상 20 : 컴퓨터 단말
30 : 프로그램 시스템

Claims

입력영상을 대상으로 배꼽 영역을 검출하는 에이다부스트를 이용한 인체 영역의 강인한 검출 방법에 있어서,
(a) 피부의 색상 분포를 이용하여, 상기 입력영상에서 피부 영역을 추출하는 단계;
(b) 상기 피부 영역에서 유두 맵(nipple map)을 이용하여 적어도 2개의 유두 영역을 추출하는 단계;
(c) 상기 입력영상에 각각 에지와 채도를 처리하여 에지 영상 및 채도 영상을 구하고, 상기 에지 영상 및 채도 영상에서 중복되는 영역 중에서 상기 적어도 2개의 유두 영역과 사전에 정해진 기하학적인 범위 내에 위치하는 영역을 배꼽의 후보 영역으로 추출하는 단계; 및,
(d) 상기 배꼽의 후보영역에서 하르-라이크(Harr-like) 특징을 추출하고, 하르-라이크 특징을 에이다부스트 분류기에 적용하고, 상기 에이다부스트 분류기의 결과에 따라 상기 배꼽의 후보영역이 배꼽 영역인지를 판단하여 추출하는 단계를 포함하는 것을 특징으로 하는 에이다부스트를 이용한 인체 영역의 강인한 검출 방법.
제1항에 있어서,
상기 (a)단계에서, 피부 색상 화소들을 학습시켜서 타원형 피부색상 분포 모델을 생성하여, 학습된 피부 분포모델을 이용하여 상기 입력영상으로부터 피부영역을 추출하는 것을 특징으로 하는 에이다부스트를 이용한 인체 영역의 강인한 검출 방법.
제1항에 있어서,
상기 (b)단계에서, 피부 영역에서 유두 맵을 적용하고 오쯔(Otsu)의 이진화 방법과 레이블링(labeling)을 수행하여 유두의 후보 영역을 검출하고, 상기 유두의 후보 영역에 대하여 기하학적 특징을 적용하여 유두 영역을 검출하는 것을 특징으로 하는 에이다부스트를 이용한 인체 영역의 강인한 검출 방법.
제3항에 있어서,
상기 기하학적 특징은 유두의 후보 영역의 크기, 유두후보 영역이 차지하는 면적과 유두후보 최소포함 사각형 면적의 상대적인 비율을 나타내는 밀집도, 유두후보 영역의 가로와 세로 길이의 상대적 비율인 연장도 중 어느 하나 이상을 포함하고, 상기 기하학적 특징이 사전에 정의된 범위 내에 포함되지 않으면 유두의 후보 영역에서 제거되는 것을 특징으로 하는 에이다부스트를 이용한 인체 영역의 강인한 검출 방법.
제1항에 있어서,
상기 (c)단계에서, 상기 입력영상에 소벨(Sobel) 에지를 적용하여 소벨 에지 영상을 획득하고, 오쯔(Otsu)의 방법으로 상기 소벨 에지 영상을 이진화하여 이진화된 에지 영상을 획득하고, 상기 입력영상을 채도 영상으로 변환하고, 오쯔(Otsu)의 방법으로 상기 채도 영상을 이진화하여 이진화된 채도 영상을 획득하고, 상기 이진화된 에지 영상 및, 상기 이진화된 채도 영상에 형태학적인 연산자 중에서 닫힘(closing) 연산자를 적용한 후, 이진화된 에지 영상 및 채도 영상에서 중복되는 영역을 추출하는 것을 특징으로 하는 에이다부스트를 이용한 인체 영역의 강인한 검출 방법.
제5항에 있어서,
상기 (c)단계에서, 상기 중복되는 영역이 상기 적어도 2개의 유두 영역의 중심들을 연결하는 선분을 수직으로 이등분하는 직선에서 사전에 정해진 범위 내에 위치하면, 배꼽의 후보 영역으로 추출되는 것을 특징으로 하는 에이다부스트를 이용한 인체 영역의 강인한 검출 방법.
제1항에 있어서,
상기 (d)단계에서, 상기 배꼽의 후보 영역에서 적분영상을 구하고, 상기 적분영상에서 하르-라이크(Harr-like) 특징을 추출하고, 추출된 하르-라이크 특징들을 에이다부스트의 분류기에 입력하여, 배꼽 영역인지를 판단하여 검출하는 것을 특징으로 하는 에이다부스트를 이용한 인체 영역의 강인한 검출 방법.
제7항에 있어서,
상기 적분영상 T(x,y)은 다음 [수식 1]에 의해 연산되는 것을 특징으로 하는 에이다부스트를 이용한 인체 영역의 강인한 검출 방법.
[수식 1]

단, f(x', y')는 위치 (x', y')에서의 화소 값임.
제1항에 있어서,
상기 에이다부스트 분류기는 4단계의 계층적인 분류기(cascaded classifier)를 사용하는 것을 특징으로 하는 에이다부스트를 이용한 인체 영역의 강인한 검출 방법.
제1항 내지 제9항 중 어느 한 항의 에이다부스트를 이용한 인체 영역의 강인한 검출 방법을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.