KR101032581B1 - 유해영상 자동 판별 방법 - Google Patents
유해영상 자동 판별 방법 Download PDFInfo
- Publication number
- KR101032581B1 KR101032581B1 KR1020090069972A KR20090069972A KR101032581B1 KR 101032581 B1 KR101032581 B1 KR 101032581B1 KR 1020090069972 A KR1020090069972 A KR 1020090069972A KR 20090069972 A KR20090069972 A KR 20090069972A KR 101032581 B1 KR101032581 B1 KR 101032581B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- skin color
- harmful
- region
- moment
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
- G06T7/41—Analysis of texture based on statistical description of texture
- G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 유해영상의 자동 판별 방법에 관한 것으로서, 더욱 상세하게는 입력된 영상을 유사한 색상을 갖는 영역으로 분할하여 피부색을 가지는 영역을 검색한 이후에 작은 피부색 영역을 제거하고 남은 피부색 영역 중에서 텍스처 분석을 통한 사람의 피부색 영역을 검출하며 이 영역으로부터의 모양 정합 기법을 사용하여 유해영상인가를 판단하는 유해영상의 자동 판별 방법에 관한 것이다.
이상 설명한 바와 같이, 본 발명은 피부색 검색의 정확도가 높고 이미 방대한 유해 영상들에서 추출한 모멘트값들과 임의의 한 영상을 비교함으로 유/무해 영상 판별의 정확도가 높은 효과가 있으며, 각 단계별로 유해영상을 판별하기 때문에 빠르고 정확하게 유해영상이 판별되는 효과가 있다.
유해영상, 영상분할, 피부색, 텍스처 분석, 모멘트
Description
본 발명은 유해영상의 자동 판별 방법에 관한 것으로서, 더욱 상세하게는 입력된 영상을 유사한 색상을 갖는 영역으로 분할하여 피부색을 가지는 영역을 검색한 이후에 작은 피부색 영역을 제거하고 남은 피부색 영역 중에서 텍스처 분석을 통한 사람의 피부색 영역을 검출하며 이 영역으로부터의 모양 정합 기법을 사용하여 유해영상인가를 판단하는 유해영상의 자동 판별 방법에 관한 것이다.
종래의 기술로서, 대한민국 등록특허공보 제 10-0595032호인 영상의 선정성 분석방법은 영상이 입력되면 입력영상의 RGB 형태를 YCbCr 형태로 변환시키는 제 1단계와, 입력영상의 색상 분석을 통해 영상의 대표색이 피부색과 유사한지 비교하는 제 2 단계와, 입력영상의 윤곽분석을 통해 인체와의 유사성을 판별하는 제 3 단계와, 입력영상의 대표색이 피부색과 유사하지 않거나 윤곽이 인체와 유사하지 않을 경우에는 비유해 이미지로 판정하고 입력영상이 피부색과 유사하면서 그 윤곽이 인체와 유사할 경우 유해이미지로 판정하는 제 4 단계로 이루어지는 영상의 선정성 분석방법에 있어서; 상기 제 2 단계는 변환된 입력영상을 분석하여 화면의 색에 따라 복수의 군집으로 분리시키는 제 1 과정과, 가장 많은 화소수를 가지는 색상 군집을 대표색으로 선택하는 제 2 과정과, 상기 제 2 과정에서 선택된 대표색이 인체의 피부색의 범위에 속하는지를 판별하는 제 3 과정으로 이루어지고; 상기 제 3 단계는 대표색이 피부색의 범주에 속할 경우 각 유닛을 구성하는 화소 중 과반 이상이 대표 색상을 가지는 모든 영역을 잘게 분리하여 작은 사각형으로 서브 유닛으로 재구성하는 제 1 과정과, 상기 제 1 과정을 통해 재구성된 서브 유닛의 분포를 조사하여 물체가 형성하는 윤곽을 분석하는 제 2 과정과, 상기 제 2 과정에서 분석된 윤곽이 인체일 가능성이 있는지를 판정하는 제 3 과정으로 구성된다.
이러한 상기 종래 기술 이외에도 피부색 영역 검출하기 위해서 skin color detection이라는 분야에서 오래전부터 연구가 이루어져 왔으나, 그 기술의 대부분이 pixel-based skin detection 방법이다. 상기 pixel-based skin detection 방법은 한 화소가 피부색에 해당되는 칼라값을 가졌는지를 검사하는 단순 방법인데, 여러 칼라 모델(RGB, YCbCr, HIS 등)에서 시험되었고 이외에도 확률적 접근을 이용한 피부색 화소 분류 방법의 기술이 있었는데 화소 단위 피부색 검출 방식에서 가장 좋은 정확도를 보이고 있지만 전반적인 유해영상 판단에 대해서는 정확도가 떨어지는 문제점이 있었다.
아울러, 상기 종래의 기술에서도 설명한 바와 같이 피부색 비교를 위해 입력영상을 RGB에서 YCbCr로 변환하는 단계의 기술은 피부색 검출 성능이 매우 떨어지 기 때문에 유해 영상을 판단함에 있어서 정확도가 떨어지는 문제점이 있었다.
따라서, 본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은 영상분할, 피부색 영역 검색, 작은 피부색 영역 제거, 영상 텍스처 분석, 모양 정합 기법으로 유해영상을 판별하는데 그 목적이 있다.
상기 목적을 달성하기 위한 본 발명의 일실시예에 따르면, 유해영상의 자동 판별 방법은 영상입력 제 1 단계와, 상기 입력된 영상을 유사한 색상끼리 묶어 영역이 형성되도록 영상 분할하는 제 2 단계와, 상기 분할된 영역 중에서 피부색을 갖는 영역만을 검색하는 제 3 단계와, 상기 피부색을 갖는 영역 중에서 미세 피부색 영역을 제거하는 제 4 단계와, 상기 미세 피부색 영역을 제거하고 남은 피부색 영역을 고주파 필터에 적용하여 gray-scale histogram이 저대역에서 가우시안 분포를 갖으면 사람의 피부색으로 판단하고 상기 gray-scale histogram이 저대역에서 가우시안 분포를 갖지 않으면 다른 객체의 색으로 판단하고 제거하여 피부색 영역만을 추출하는 제 5 단계와, 상기 다수의 나체자세 영상을 수집하여 상기 제 1 단계부터 제 5 단계까지의 수행을 통하여 다수의 나체자세 영상에 남겨진 피부색 영역을 분석하여 모멘트(moment)라는 수학적 값을 계산하여 비슷한 제 1 모멘트 값끼 리 묶어 다수개의 집합을 구축하는 제 6 단계, 및 상기 임의의 한 영상을 상기 제 1 단계부터 제 5 단계까지 수행하여 획득한 제 2 모멘트 값과 상기 다수개의 집합에 구축된 제 1 모멘트 값들과 비교하여 상기 제 2 모멘트가 상기 제 1 모멘트 값들에 가까운 경우에 유해영상으로 판단하는 제 7 단계로 이루어진 것을 해결수단으로 한다.
이상 설명한 바와 같이, 본 발명은 피부색 검출의 정확도가 높고 이미 방대한 유해 영상들에서 추출한 모멘트값들과 임의의 한 영상을 비교함으로 유/무해 영상 판별의 정확도가 높은 효과가 있으며, 각 단계별로 유해영상을 판별하기 때문에 빠르고 정확하게 유해영상이 판별되는 효과가 있다.
이하, 본 발명의 최적 실시예에 대하여 첨부된 도면을 참조하여 그 구성 및 작용을 설명한다.
도 1은 본 발명에 따른 유해영상 판별 방법 흐름도로서, 상기 유해영상 판별 방법 흐름도는 영상입력 단계(S10)와, 상기 입력된 영상을 유사한 색상끼리 묶어 영역이 형성되도록 영상 분할하는 단계(S20)와, 상기 분할된 영역 중에서 피부색을 갖는 영역만을 검색하는 단계(S30)와, 상기 피부색을 갖는 영역 중에서 미세 피부색 영역을 제거하는 단계(S40)와, 상기 미세 피부색 영역을 제거하고 남은 피부색 영역을 고주파 필터에 적용하여 gray-scale histogram이 저대역에서 가우시안 분포를 갖으면 사람의 피부색으로 판단하고 상기 gray-scale histogram이 저대역에서 가우시안 분포를 갖지 않으면 다른 객체의 색으로 판단하고 제거하여 피부색 영역만을 추출하는 단계(S50)와, 상기 다수의 나체자세 영상을 수집하여 상기 S10단계부터 S50단계까지의 수행을 통하여 다수의 나체자세 영상에 남겨진 피부색 영역을 분석하여 모멘트(moment)라는 수학적 값을 계산하여 비슷한 제 1 모멘트 값끼리 묶어 다수개의 집합을 구축하는 단계(S60), 및 상기 임의의 한 영상을 상기 S10단계부터 S50단계까지 수행하여 획득한 제 2 모멘트 값과 상기 다수개의 집합에 구축된 제 1 모멘트 값들과 비교하여 상기 제 2 모멘트가 상기 제 1 모멘트 값들에 가까운 경우에 유해영상으로 판단하는 단계(S70)로 이루어진다.
상기 각 단계에 대하여 보다 상세하게 설명하면 다음과 같다.
상기 영상입력 단계(S10)는, 유해 영상 또는 일반 영상 중 어느 하나가 입력된다.
상기 입력된 영상을 유사한 색상끼리 묶어 영역이 형성되도록 영상 분할하는 단계(S20)는, S10단계에서와 같이 영상이 입력되면, 영상의 RGB 칼라 화소값들을 검사하면서, 인접 픽셀간의 칼라값 차이가 일정크기보다 작으면, 두 화소를 하나의 영역으로 묶는다. 이러한 것을 영상의 전영역을 대상으로 모두 수행하면, 유사한 색상을 가지는 픽셀들이 하나의 영역으로 묶이게 된다.
예컨대, 도 2에 도시되 바와 같이, 한 여성이 길 위에서 약간의 옷만 착용한 유해영상이 입력되면, 입력된 유해영상 중에서 한 여성 옆의 보이는 바닥(길), 여 성의 다리에 해당되는 부분에 속하는 화소들의 색상값들은 비슷한 색상을 가지면서 일정 범위에 속하기 때문에 비슷한 생상 영역 분할이 이루어진다. 즉, 도 2의 (a)는 비슷한 색상끼리 묶은 영역이 도 2의 (b)와 같이 이루어지는 것이다.
우선, S30단계를 설명하기에 앞서서, 상기 종래의 기술에서도 설명한 바와 같이 피부색 비교를 위해 입력영상을 RGB에서 YCbCr로 변환 후 피부색 검출 기술은 확률적 접근 기반의 피부색 검출기보다 그 성능이 매우 떨어지는 문제점이 있다.
즉, 높은 정확도의 화소기반 피부색 검출기를 보유하여도 실제 입력 영상의 화소값을 관찰하면 노이즈(noise) 화소가 적지 않으므로 화소기반 피부색 검출기를 적용하면 눈으로 보여지는 바디(body) 영역에서 노이즈 화소는 피부색 화소로 검출되지 않아서, 바디 영역에서 구멍이 뚫린 것 같은 결과를 얻을 수 밖에 없다.
따라서, 상기 분할된 영역 중에서 피부색을 갖는 영역만을 검색하는 단계(S30)에서는 이러한 문제점을 극복하고자 화소 단위의 피부색 검출기를 사용하지 않고 영상을 도 2의 (b)와 같이 영상분할 과정을 거치고 영상분할된 결과 영상에서 보여지는 영역들을 대상으로 해당 영역의 평균 칼라값이 피부색에 해당되는지를 검사한다. 더욱이, 본 발명은 확률적 접근 기반의 피부색 분류기를 사용하고 피부 영역에 구멍이 뚫리지도 않고 매우 높은 정확도를 보이는 피부색 영역을 검색한다.
상기 피부색 검출기를 개발하기 전에 피부색영역이 포함된 유해영상과 비유해영상을 각각 1000장씩 준비하고 유해영상에서 육안으로 피부색 영역을 오려내어 피부색 영역이 가지는 칼라값 조합에 대한 확률 분포를 만들어내었다.
상기 피부색 검출기에서는 특정 칼라가 피부색일 확률과 특정칼라가 피부색 이 아닐 확률간의 비율 분포(skin probability map)를 이용하여 특정 칼라값이 피부색인지 아닌지를 결정하게 된다.
상기 피부색을 갖는 영역 중에서 미세 피부색 영역을 제거하는 단계(S40)는, 상기 S30단계에서 두 가지 확률값 분포를 이용하여 특정 칼라값이 피부색인지 아닌지를 결정한 후 피부색 영역만 남기고 나머지 칼라값을 모두 제거한다.
즉, 도 3의 (c)의 영상을 이용하여 (b)의 영상과 같은 유사 색상 영역분할 단계를 거친 이후에 피부색 영역만 남기고 나머지 부분을 모두 제거하면 (d)영상 결과를 얻게 된다. 이때 피부색 영역을 살펴보면 실제 피부색 이외에도 작은 크기의 영역들이 많이 존재한다는 것을 알 수 있다. 특히, 실제 사람이 아닌 바닥이나 벽면에서 이러한 작은 피부색 영역들이 많이 검출될 수도 있는 바, 일예로 목재로 지어진 벽면, 가구, 바닥재 등 피부색과 유사한 영역들로 검출될 수 있다.
이러한 미세 피부색 영역을 제거하면 (e)영상과 같은 결과가 얻어진다.
상기 미세 피부색 영역을 제거하고 남은 피부색 영역을 고주파 필터에 적용하여 gray-scale histogram이 저대역에서 가우시안 분포를 갖으면 사람의 피부색으로 판단하고 상기 gray-scale histogram이 저대역에서 가우시안 분포를 갖지 않으면 다른 객체의 색으로 판단하고 제거하여 피부색 영역만을 추출하는 단계(S50)는, S40단계 이후에 다른 객체에서도 사람의 피부색 영역으로 오인되는 영역이 검출될 수 있기 때문에 본 발명은 이 부분을 구분하기 위해서 텍스처 분석을 수행한다.
즉, 상기 텍스처 분석은 도 4에 도시된 바와 같이 도 4의 (f)는 유해영상이고 도 4의 (g)는 일반영상이며, 이때 도 4의 (f)를 (h)로 필터링하여 고주파 필터 에 적용하면 도 5의 (j)와 같은 히스토그램이 나타나고 도 4의 (g)를 (i)로 필터링하여 고주파 필터에 적용하면 도 5의 (h)와 같은 히스토그램이 나타난다.
이러한 방식에 의해서 사람의 피부색 고유의 패턴이 구분되는 것을 알 수 있다.
따라서, S50단계까지 수행하면 영상 내에 실제 사람에서 보여지는 고유의 피부색 영역만이 존재하게 된다.
상기 다수의 나체자세 영상을 수집하여 상기 S10단계부터 S50단계까지의 수행을 통하여 다수의 나체자세 영상에 남겨진 피부색 영역을 분석하여 모멘트(moment)라는 수학적 값을 계산하여 비슷한 제 1 모멘트 값끼리 묶어 다수개의 집합을 구축하는 단계(S60)는, 유해 영상에 기록된 객체의 자세가 어느 각도에서 캡쳐하는지에 따라 서로 다른 영상으로 얻어지기 때문에 음란 영상에서 나체의 자세 정보를 가지고 음란 여부를 결정하기 위해서 사전에 학습된 자세 정보 모멘트(moment)값을 이용한다. 음란 영상들에서 보여지는 나체들의 자세정보를 음란 판별에 이용하기 위해 사전에 수 많은 그리고 다양한 자세를 취한 영상들을 수집하고 이렇게 수집된 영상들에서 위에서 설명한 똑 같은 과정들을 거친 후에 영상에 남겨진 피부색 영역을 분석하여 모멘트라는 수학적 값(공지된 영상처리 기술에서 통상적으로 사용되는 용어.)으로 계산해 구축한다.
상기 모멘트 값은 어떠한 객체를 다양한 각도에서 찍은 영상들이 있다면, 이 영상들에서 구해진 모멘트값들은 비슷한 범위의 수치를 보임으로 하나의 자세에 대한 여러 각도의 음란 영상들의 자세 정보를 하나의 모멘트값으로 저장해 둘 수 있 다.
따라서, 수백가지의 모멘트 값끼리 집합으로 구축함으로써 수천 가지의 음란 자세에 해당하는 영상 정보를 검색할 수 있다.
상기 임의의 한 영상을 상기 S10단계부터 S50단계까지 수행하여 획득한 제 2 모멘트 값과 상기 다수개의 집합에 구축된 제 1 모멘트 값들과 비교하여 상기 제 2 모멘트가 상기 제 1 모멘트 값들에 가까운 경우에 유해영상으로 판단하는 단계(S70)는, 임의의 한 영상을 상기 S10단계부터 S50단계까지 수행하면 모멘트값을 획득할 수 있다. 이와 같이 획득된 모멘트값과 상기 S10단계부터 S50단계까지 수행하여 다수의 나체정보 자세에 대한 모멘트값을 집합으로 저장해둔 것과 비교하여 상기 임의의 한 영상이 유해영상인지 판단하는 것이다.
끝으로, 각 단계가 끝날 때마다 음란 여부가 결정될 수도 있는 구조이다.
예를 들어, 상기 S20단계에서 영상 분할 후에 피부색 영역들을 검색했는데, 피부색 영역이 검출되지 않았다면, 이 영상은 통상적으로 알고 있는 나체 영상이 기록되어 있지 않음을 의미하므로 무해한 영상으로 판단된다.
또 다른 예로, 어떤 영상의 경우 S20단계를 거쳐 영상 내에 피부색 영역이 검출되었지만, S40단계에서 해당 피부색 영역이 모두 미세 크기영역이라면, 이 영상 또한 무해 영상으로 결정된다.
아울러, 상기 S50단계에서 모든 피부색 영역의 고주파 필터 적용 후, gray-scale histogram이 저대역에서 가우시안 분포를 갖지 않는 경우에, 사람의 피부색 영역이 존재하지 않는 것으로 판별되어, 이 영상 또한 무해영상으로 결정한다.
이하, 본 발명에 대해 고주파 필터, 히스토그램, 가우시안 분포를 통한 유해 영상 판단에 대해 순서에 입각하여 설명한다.
제 5 단계(S50)에서는, 피부색에 해당되는 픽셀들만 남겨놓은 영상에서, 어느 정도 크기 이상의 픽셀들 덩어리(미세 피부색 영역을 제거하였으므로)만 남겨놓은 영상을 입력영상으로 한다.
그러니까, 피부색 픽셀이 1~10개 정도 뭉쳐있는 것은 고려하지 않고, 피부색 픽셀이 10개 이상 뭉쳐있어야만, 피부색 영역으로 분류하게 된다.
이러한 피부색 영역만 남겨놓은 영상을 입력영상으로 하는 바, 사람의 피부색의 범위는 다양하게 고려되어야 한다. 즉, 어두운 조명에서의 완전흑인/백인의 피부가 햇빛에 반사되어 완전흰색을 가질 때의 경우까지 고려한다면, 사실 이미지에 보여지는 대부분의 색상을 피부색으로 분류해야만 할 것이라는 문제에 직면하게 될 것이다.
이와 같이 광범위한 피부색 범위를 정하지 않더라도, 피부색은 여러 조명 환경에 따라서 다양한 색상으로 이미지에서 보여지게 된다.
따라서, 모든 색상 범위는, Red 256가지 * Green 256가지 * Blue 256가지의 조합으로 생겨난, 전체 색상이 1670만 색상에 이르지만, 이 중에서 피부색 범위를 최대한 협소하게 잡더라도 상당한 수의 색상 조합들이 피부색으로 분류될 수 있게 된다.
이러한 이유로, 본원발명의 출원인처럼 실제로 피부색 검출기를 개발해보면, 다음과 같은 고민이 생긴다.
“1. 피부색 범위를 좁게 잡으면, 다양한 환경에서 노출되는 피부색들이, 피부색으로 분류되지 않아서, 많은 유해 영상들을 제대로 못찾아 낸다.
2. 피부색 범위를 넓게 잡으면, 실제 피부가 아니지만, 피부색과 유사해 보이는 색상을 가진 기타 객체들도, 사람 인체의 일부로 오인식된다.”는 두가지 문제에 봉착하게 된다.
따라서, 방법의 신속성과 효율성, 정확성을 두루 감안하기 위해서는 위 두 가지 문제점 가운데, 적당한 타협점을 찾아야 되는 바, 본 발명의 알고리즘을 실제로 개발해본 결과, 가장 좋은 유해판별 정확도를 얻기 위해서는, 위의 2번과 같이 피부색 범위를 일단은 넓게 잡고, 이때 발생하는 기타 객체의 색상이 피부색으로 오-인식되는 문제를 해결하는 방향으로 접근하는 것이 바람직하다는 것을 알 수 있었다.
이때의 “피부색으로 오-인식되는 기타 객체의 색상”이란, 원목 가구/바닥/벽지, 동물의 털, 석양, 사막 등등이 비교적 많이 발생하는 것들이었다.
따라서, 본원발명은 오인식되는 기타 객체의 색상들을 정확하게 사람의 피부색과 구분하기 위해 본원발명과 같은 알고리즘을 고안해내게 되었다.
이하, 알고리즘의 원리에 대해 설명한다.
사람의 피부를 찍은 이미지에서 그 영역을 자세히 확대해서 들여다보면, 특정픽셀과 바로 이웃하는 픽셀의 칼라값이 매우 smooth하게 변하고 있다. 당연히 사람의 피부는, 팔/다리/몸통 등이 실린더 형태이기 때문에, 2차원 이미지로 이러한 실린더 형태를 캡처했을 때, 카메라에서 가장 가까운 부분이 제일 밝게 나오고, 원통형에서 비교적 먼 부분이 어둡게 나오게 된다.
이러한 사람의 body를 구성하는, 여러 segment, 즉 팔/다리/몸통 등이 원통형이므로 해당 segment가 2D영상에서는 피부색 생상이 부드럽게 변화를 보인다는 것에 착안하여, 제 5단계까지 수행된 영상에서는 실제 사람의 몸통, 석양, 원목가구들이 섞여있는 영상이 있다고 가정한다면, 각 피부색 픽셀들 덩어리를 하나씩 분석해보면서, 이 덩어리는 사람 피부 부분을 찍은 부분인지 또는 이 덩어리는 아닌지를 구분해내게 된다.
이 분석하는 방식이 결과적으로, 미세 피부색 영역까지 제거된 덩어링 형태의 피부색으로 분류된 픽셀들 영역을 고주파 필터를 통과시켜 필터링을 한다.
만약 3x3 고주파 필터를 사용해서, 어떤 영역을 순회한다면, 그 결과는 다음의 둘 중의 하나로 나온다.
1. Homogeneous 영역, 그러니까, 색상이 균일하거나, 부드럽게 변화하는 영역에서는 response(응답)이 약하게 나온다.
2. High-frequency 영역, 그러니까, 인접 픽셀들간의 색상 변화의 폭이 큰 영역(ex, 스트라이프나 체크무늬)에서는 response가 크게 나온다.
여기서의 “response”라는 것은 앞서 기재한 바와 같은 “gray-scale histogram”이다.
이러한 “response”를 실제 소스코드에서는 0~255범위를 가지도록 re-scaling하여 갖고 있는 바, 이 “response”값이 작으면(0~80), 이 부분을 “저대역”으로 표현한 것이다.
즉, 반응신호 혹은 결과신호인 “gray-scale histogram”이 크게 나오면 무해영상으로 판단하게 되는 것이다.
다시 예를 들면, 사람의 허벅지 부분은 피부색 색상이 부드럽게 변화하고 있으므로, 그러니까, 위의 1번 homogeneous 영역으로, 영상에 나타나므로, 이 영역에 있는 픽셀들간의 response를 계산하면, response값이 약하게 나오므로, 전체 0~255사이의 response값 배열에서, 주로 0~60사이의 response값을 보이게 된다.
따라서, 이 0~255사이의 response값 배열을 발명의 상세한 설명에서는 “gray-scale histogram”으로 기재되어져 있다.
그래서, 사람의 body를 구성하는 부분은, 0~60 대역에서 가우시안 분포를 주로 보인다는 것이고, 원목 가구/벽지/바닥의 경우, 대부분 일정한 패턴이 반복되는 경우가 많기 때문에, 50~120 대역에서 고른 분포를 보이고, 동물의 털의 경우, 매우 들쑥날쑥하기 때문에, 80~150 대역에서 분포의 형태가 일정하지 않은 양상을 보이며, 석양/사막의 경우, 0~40 대역에서 flat한 분포를 보인다.
이 분포는, 실제로 본원발명의 개발 당시, 사람의 허벅지/팔/다리/몸통 등만 따로 수집하고, 원목가구만 따로 수집, 동물의 털, 석양/사막 등을 각각 모두 따로 수집하여, 각 영역의 영상을 고주파 필터를 통과시키고, 그 response를 0~255사이의 histogram으로 accumulation(누적)시켜서, histogram을 분석함으로써 어떤 대역에서 주로 response가 존재하고, 어떤 신호형상(가우시안 or 플랫 or 무작위)을 보이는지를 관찰하여, 사람의 body segment들만이 가지는 “저대역(대역정보)에서의 가우시안분포(형상정보)”라는 특징을 찾아낸 것이다.
그리고, 이때의 response histogram을 0~255사이의 범위로, re-scaling하였기 때문에, “gray-scale histogram”으로 표현하였다.
정리하면, 대상이 되는 영상데이터를, 고주파 필터를 통과시키게 되면 사람의 몸에 해당되는 영상에 대해서는 저대역 분포를 가지며, 신호형상은 가우시안 분포를 갖는다.
이하, 본 발명에 대해 고주파 필터, 히스토그램, 가우시안 분포를 통한 유해 영상 판단에 대해 순서에 입각하여 설명한다.
제 5 단계(S50)에서는, 피부색에 해당되는 픽셀들만 남겨놓은 영상에서, 어느 정도 크기 이상의 픽셀들 덩어리(미세 피부색 영역을 제거하였으므로)만 남겨놓은 영상을 입력영상으로 한다.
그러니까, 피부색 픽셀이 1~10개 정도 뭉쳐있는 것은 고려하지 않고, 피부색 픽셀이 10개 이상 뭉쳐있어야만, 피부색 영역으로 분류하게 된다.
이러한 피부색 영역만 남겨놓은 영상을 입력영상으로 하는 바, 사람의 피부색의 범위는 다양하게 고려되어야 한다. 즉, 어두운 조명에서의 완전흑인/백인의 피부가 햇빛에 반사되어 완전흰색을 가질 때의 경우까지 고려한다면, 사실 이미지에 보여지는 대부분의 색상을 피부색으로 분류해야만 할 것이라는 문제에 직면하게 될 것이다.
이와 같이 광범위한 피부색 범위를 정하지 않더라도, 피부색은 여러 조명 환경에 따라서 다양한 색상으로 이미지에서 보여지게 된다.
따라서, 모든 색상 범위는, Red 256가지 * Green 256가지 * Blue 256가지의 조합으로 생겨난, 전체 색상이 1670만 색상에 이르지만, 이 중에서 피부색 범위를 최대한 협소하게 잡더라도 상당한 수의 색상 조합들이 피부색으로 분류될 수 있게 된다.
이러한 이유로, 본원발명의 출원인처럼 실제로 피부색 검출기를 개발해보면, 다음과 같은 고민이 생긴다.
“1. 피부색 범위를 좁게 잡으면, 다양한 환경에서 노출되는 피부색들이, 피부색으로 분류되지 않아서, 많은 유해 영상들을 제대로 못찾아 낸다.
2. 피부색 범위를 넓게 잡으면, 실제 피부가 아니지만, 피부색과 유사해 보이는 색상을 가진 기타 객체들도, 사람 인체의 일부로 오인식된다.”는 두가지 문제에 봉착하게 된다.
따라서, 방법의 신속성과 효율성, 정확성을 두루 감안하기 위해서는 위 두 가지 문제점 가운데, 적당한 타협점을 찾아야 되는 바, 본 발명의 알고리즘을 실제로 개발해본 결과, 가장 좋은 유해판별 정확도를 얻기 위해서는, 위의 2번과 같이 피부색 범위를 일단은 넓게 잡고, 이때 발생하는 기타 객체의 색상이 피부색으로 오-인식되는 문제를 해결하는 방향으로 접근하는 것이 바람직하다는 것을 알 수 있었다.
이때의 “피부색으로 오-인식되는 기타 객체의 색상”이란, 원목 가구/바닥/벽지, 동물의 털, 석양, 사막 등등이 비교적 많이 발생하는 것들이었다.
따라서, 본원발명은 오인식되는 기타 객체의 색상들을 정확하게 사람의 피부색과 구분하기 위해 본원발명과 같은 알고리즘을 고안해내게 되었다.
이하, 알고리즘의 원리에 대해 설명한다.
사람의 피부를 찍은 이미지에서 그 영역을 자세히 확대해서 들여다보면, 특정픽셀과 바로 이웃하는 픽셀의 칼라값이 매우 smooth하게 변하고 있다. 당연히 사람의 피부는, 팔/다리/몸통 등이 실린더 형태이기 때문에, 2차원 이미지로 이러한 실린더 형태를 캡처했을 때, 카메라에서 가장 가까운 부분이 제일 밝게 나오고, 원통형에서 비교적 먼 부분이 어둡게 나오게 된다.
이러한 사람의 body를 구성하는, 여러 segment, 즉 팔/다리/몸통 등이 원통형이므로 해당 segment가 2D영상에서는 피부색 생상이 부드럽게 변화를 보인다는 것에 착안하여, 제 5단계까지 수행된 영상에서는 실제 사람의 몸통, 석양, 원목가구들이 섞여있는 영상이 있다고 가정한다면, 각 피부색 픽셀들 덩어리를 하나씩 분석해보면서, 이 덩어리는 사람 피부 부분을 찍은 부분인지 또는 이 덩어리는 아닌지를 구분해내게 된다.
이 분석하는 방식이 결과적으로, 미세 피부색 영역까지 제거된 덩어링 형태의 피부색으로 분류된 픽셀들 영역을 고주파 필터를 통과시켜 필터링을 한다.
만약 3x3 고주파 필터를 사용해서, 어떤 영역을 순회한다면, 그 결과는 다음의 둘 중의 하나로 나온다.
1. Homogeneous 영역, 그러니까, 색상이 균일하거나, 부드럽게 변화하는 영역에서는 response(응답)이 약하게 나온다.
2. High-frequency 영역, 그러니까, 인접 픽셀들간의 색상 변화의 폭이 큰 영역(ex, 스트라이프나 체크무늬)에서는 response가 크게 나온다.
여기서의 “response”라는 것은 앞서 기재한 바와 같은 “gray-scale histogram”이다.
이러한 “response”를 실제 소스코드에서는 0~255범위를 가지도록 re-scaling하여 갖고 있는 바, 이 “response”값이 작으면(0~80), 이 부분을 “저대역”으로 표현한 것이다.
즉, 반응신호 혹은 결과신호인 “gray-scale histogram”이 크게 나오면 무해영상으로 판단하게 되는 것이다.
다시 예를 들면, 사람의 허벅지 부분은 피부색 색상이 부드럽게 변화하고 있으므로, 그러니까, 위의 1번 homogeneous 영역으로, 영상에 나타나므로, 이 영역에 있는 픽셀들간의 response를 계산하면, response값이 약하게 나오므로, 전체 0~255사이의 response값 배열에서, 주로 0~60사이의 response값을 보이게 된다.
따라서, 이 0~255사이의 response값 배열을 발명의 상세한 설명에서는 “gray-scale histogram”으로 기재되어져 있다.
그래서, 사람의 body를 구성하는 부분은, 0~60 대역에서 가우시안 분포를 주로 보인다는 것이고, 원목 가구/벽지/바닥의 경우, 대부분 일정한 패턴이 반복되는 경우가 많기 때문에, 50~120 대역에서 고른 분포를 보이고, 동물의 털의 경우, 매우 들쑥날쑥하기 때문에, 80~150 대역에서 분포의 형태가 일정하지 않은 양상을 보이며, 석양/사막의 경우, 0~40 대역에서 flat한 분포를 보인다.
이 분포는, 실제로 본원발명의 개발 당시, 사람의 허벅지/팔/다리/몸통 등만 따로 수집하고, 원목가구만 따로 수집, 동물의 털, 석양/사막 등을 각각 모두 따로 수집하여, 각 영역의 영상을 고주파 필터를 통과시키고, 그 response를 0~255사이의 histogram으로 accumulation(누적)시켜서, histogram을 분석함으로써 어떤 대역에서 주로 response가 존재하고, 어떤 신호형상(가우시안 or 플랫 or 무작위)을 보이는지를 관찰하여, 사람의 body segment들만이 가지는 “저대역(대역정보)에서의 가우시안분포(형상정보)”라는 특징을 찾아낸 것이다.
그리고, 이때의 response histogram을 0~255사이의 범위로, re-scaling하였기 때문에, “gray-scale histogram”으로 표현하였다.
정리하면, 대상이 되는 영상데이터를, 고주파 필터를 통과시키게 되면 사람의 몸에 해당되는 영상에 대해서는 저대역 분포를 가지며, 신호형상은 가우시안 분포를 갖는다.
따라서 본 발명에서 사용되는 다단계식 접근 방법은 영상의 음란 여부 판별에 있어서, 각 단계에서 무해 결정이 될 수도 있으므로, 판별 시간의 절약 효과도 가지게 된다. 또한 무해 판별된 영상에 대해서 어떤 사유로 무해 결정이 되었는지를(무해 결정단계) 기억시킬 수 있으므로, 동영상 판별 솔루션이나, 유해 필터링 서버 시스템으로의 적용도 고려될 수 있다.
도면과 상세한 설명에서 최적 실시예들이 게시되고, 이상에서 사용된 특정한 용어는 단지 본 발명을 설명하기 위한 목적에서 사용된 것일 뿐, 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것이 아니다.
그러므로 본 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하고, 본 발명의 진정한 기술적 보호 범위는 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
도 1은 본 발명에 따른 유해영상 판별 방법 흐름도
도 2 내지 도 5는 본 발명에 따른 유해영상을 판별하기 위한 예시도
Claims (5)
- 영상데이터를 입력하는 제 1 단계와;상기 입력된 영상을 유사한 색상끼리 묶어 영역이 형성되도록 영상 분할하는 제 2 단계와;상기 분할된 영역 중에서 피부색을 갖는 영역만을 검색하는 제 3 단계와;상기 피부색을 갖는 영역 중에서 미세 피부색 영역을 제거하는 제 4 단계와;상기 미세 피부색 영역을 제거하고 남은 피부색 영역을 고주파 필터를 통과하여 그 결과신호인 gray-scale histogram이 저대역에서 가우시안 분포를 갖으면 사람의 피부색으로 판단하고, 필터링의 결과신호인 상기 gray-scale histogram이 저대역에서 가우시안 분포를 갖지 않으면 다른 객체의 색으로 판단하고 제거하고 피부색 영역만을 추출하는 제 5 단계와;다수의 유해영상(나체자세 영상)을 수집하여 상기 제 1 단계부터 제 5 단계까지의 수행을 통하여 다수의 유해영상(나체자세 영상)에 남겨진 피부색 영역을 분석하여 모멘트(moment)라는 수학적 값을 계산하여 비슷한 제 1 모멘트 값끼리 묶어 다수개의 집합을 구축하는 제 6 단계; 및비교대상 영상을 상기 제 1 단계부터 제 5 단계까지 수행하여 획득한 제 2 모멘트 값과, 상기 다수개의 집합에 구축된 유해영상 모멘트값인 제 1 모멘트 값들을 비교하여 상기 제 2 모멘트가 상기 제 1 모멘트 값들에 기설정범위 이내로 근사한 경우 유해영상으로 판단하는 제 7 단계로 이루어진 것을 특징으로 하는 유해영상 판별 방법.
- 청구항 1에 있어서,상기 제 3 단계에서 피부색이 영역이 없는 경우에는 무해영상으로 판단하는 것을 특징으로 하는 유해영상 판별 방법.
- 청구항 2에 있어서,상기 제 3 단계에서 피부색이 검출되었지만 상기 제 4 단계에서 피부색 영역이 검출되지 않은 경우에 무해영상으로 판단하는 것을 특징으로 하는 유해영상 판별 방법.
- 청구항 3에 있어서,상기 제 5 단계에서 고주파 필터 통과 후의 영상 응답신호인 상기 gray-scale histogram이 저대역에서 가우시안 분포를 갖지 않는 경우에 무해영상으로 판단하는 것을 특징으로 하는 유해영상 판별 방법.
- 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020090069972A KR101032581B1 (ko) | 2009-07-30 | 2009-07-30 | 유해영상 자동 판별 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020090069972A KR101032581B1 (ko) | 2009-07-30 | 2009-07-30 | 유해영상 자동 판별 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20110012302A KR20110012302A (ko) | 2011-02-09 |
| KR101032581B1 true KR101032581B1 (ko) | 2011-05-06 |
Family
ID=43772244
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020090069972A KR101032581B1 (ko) | 2009-07-30 | 2009-07-30 | 유해영상 자동 판별 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101032581B1 (ko) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105740752B (zh) * | 2014-12-11 | 2021-05-11 | 世纪龙信息网络有限责任公司 | 敏感图片过滤方法和系统 |
| KR101867448B1 (ko) * | 2016-12-12 | 2018-06-12 | 인천대학교 산학협력단 | 저전력 에지 샤프닝에 기초한 이미지 처리 방법 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101612003B1 (ko) * | 2015-06-25 | 2016-04-12 | 이상윤 | 여행 정보 제공 및 여행자 안전 확보 방법 |
-
2009
- 2009-07-30 KR KR1020090069972A patent/KR101032581B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101612003B1 (ko) * | 2015-06-25 | 2016-04-12 | 이상윤 | 여행 정보 제공 및 여행자 안전 확보 방법 |
Non-Patent Citations (3)
| Title |
|---|
| "GoF 특징을 이용한 유해 동영상 자동 분류", 제24회 한국정보처리학회 추계학술발표대회 논문집 제12권 제2호, 2005.11. |
| "살색검출을 기반으로 한 포르노 영상 필터링", 2003년도 제16회 신호처리합동학술대회 논문집 제16권 제1호, 2003. |
| "피부색상을 이용한 유해영상 분류기 개발", 한국콘텐츠학회논문지 제9권 제4호, pp. 1-11, 2009.4. |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20110012302A (ko) | 2011-02-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Krithika et al. | An individual grape leaf disease identification using leaf skeletons and KNN classification | |
| KR100586277B1 (ko) | 넌-리터럴 패턴 인식 방법 및 초 스팩트럼 이미지 이용을위한 시스템 | |
| CN108563979B (zh) | 一种基于航拍农田图像判别水稻稻瘟病病情的方法 | |
| JP5706647B2 (ja) | 情報処理装置、およびその処理方法 | |
| Abate et al. | BIRD: Watershed based iris detection for mobile devices | |
| CN108446584A (zh) | 一种无人机侦察视频图像目标自动检测方法 | |
| ES2328440B1 (es) | Metodo para identificar guignardia citricarpa. | |
| CN110929687B (zh) | 一种基于关键点检测的多人行为识别系统及工作方法 | |
| CN108564092A (zh) | 基于sift特征提取算法的向日葵病害识别方法 | |
| CN110376202B (zh) | 基于成像高光谱技术的茶树炭疽病病斑识别方法 | |
| CN111695373B (zh) | 斑马线的定位方法、系统、介质及设备 | |
| CN109271932A (zh) | 基于颜色匹配的行人再识别方法 | |
| KR101813223B1 (ko) | 영상 표면의 결함을 검출 및 분류하는 방법 및 장치 | |
| Al-Tarawneh | An empirical investigation of olive leave spot disease using auto-cropping segmentation and fuzzy C-means classification | |
| Feng et al. | A separating method of adjacent apples based on machine vision and chain code information | |
| Patki et al. | Cotton leaf disease detection & classification using multi SVM | |
| Obdržálek et al. | Detecting scene elements using maximally stable colour regions | |
| KR101769741B1 (ko) | 동공 탐지를 통한 홍채 인식 방법 및 홍채 인식 장치 | |
| Mesquita et al. | Object recognition using saliency guided searching | |
| KR101032581B1 (ko) | 유해영상 자동 판별 방법 | |
| Bremananth et al. | Wood species recognition using GLCM and correlation | |
| Maheen et al. | Machine learning algorithm for fire detection using color correlogram | |
| KR101249374B1 (ko) | 영상에서의 목표형상 검출장치 및 방법 | |
| Zeng et al. | Detecting and measuring fine roots in minirhizotron images using matched filtering and local entropy thresholding | |
| Ren et al. | A novel scene text detection algorithm based on convolutional neural network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20140409 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20150424 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20160418 Year of fee payment: 6 |
|
| FPAY | Annual fee payment |
Payment date: 20190425 Year of fee payment: 9 |