KR20150092546A - 무해 프레임 필터 및 이를 포함하는 유해 영상 차단 장치, 무해 프레임을 필터링하는 방법 - Google Patents

무해 프레임 필터 및 이를 포함하는 유해 영상 차단 장치, 무해 프레임을 필터링하는 방법 Download PDF

Info

Publication number
KR20150092546A
KR20150092546A KR1020140013042A KR20140013042A KR20150092546A KR 20150092546 A KR20150092546 A KR 20150092546A KR 1020140013042 A KR1020140013042 A KR 1020140013042A KR 20140013042 A KR20140013042 A KR 20140013042A KR 20150092546 A KR20150092546 A KR 20150092546A
Authority
KR
South Korea
Prior art keywords
image
skin
bbp
filtering
harmless
Prior art date
Application number
KR1020140013042A
Other languages
English (en)
Inventor
유정재
한승완
김무섭
최수길
정치윤
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020140013042A priority Critical patent/KR20150092546A/ko
Priority to US14/529,120 priority patent/US20150221097A1/en
Publication of KR20150092546A publication Critical patent/KR20150092546A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

음란한 영상을 포함하는 유해 영상 콘텐츠를 실시간으로 판별함에 있어서, 무해성이 뚜렷한 영상을 고속으로 판별하여 미리 배제함으로써 작업 효율을 향상시키는 무해 프레임 필터 및 이를 포함하는 유해 영상 차단 장치, 무해 프레임을 필터링하는 방법이 개시된다. 본 발명에 따른 무해 프레임 필터는 상기 입력 영상에 대한 상기 피부 영역 후보 픽셀의 비율을 기반으로 무해 프레임을 1차적으로 필터링하는 1차 필터링부 및 상기 피부 영역 후보 픽셀을 대상으로 2차원 영상 공간에서의 분포 특성을 표현하는 BBP(Block Binary Patter) 히스토그램을 생성하고, 기정해진 학습 데이터와 상기 BBP 히스토그램을 비교함으로써 무해 프레임을 2차적으로 필터링하는 2차 필터링부를 포함한다.

Description

무해 프레임 필터 및 이를 포함하는 유해 영상 차단 장치, 무해 프레임을 필터링하는 방법{HARMLESS FRAME FILTER AND APPARATUS FOR HARMFUL IMAGE BLOCK HAVING THE SAME, METHOD FOR FILTERING HARMLESS FRAME}
본 발명은, 무해 프레임 필터 및 이를 포함하는 유해 영상 차단 장치, 무해 프레임을 필터링하는 방법에 관한 것이다. 더욱 상세하게는 본 발명은, 음란한 영상을 포함하는 유해 영상 콘텐츠를 실시간으로 판별함에 있어서, 무해성이 뚜렷한 영상을 고속으로 판별하여 미리 배제함으로써 작업 효율을 향상시키는 무해 프레임 필터 및 이를 포함하는 유해 영상 차단 장치, 무해 프레임을 필터링하는 방법에 관한 것이다.
최근 통신 네트워크 기술의 발달과 PC, 모바일 기기의 대중화로 인해 시간, 장소의 제약 없이 영상 콘텐츠를 다운로드 받고 감상하는 일이 일상 생활이 되어가고 있다. 하지만 엔터테인먼트 문화의 편리성 증가와 함께 성장기의 아동, 청소년들이 음란 동영상과 같은 유해 콘텐츠에 노출될 위험성 역시 함께 증가하고 있다.
이에 따라 영상 콘텐츠의 내용을 분석하여 자동으로 유해성 여부를 판별하고 유해 콘텐츠를 차단하는 기술에 대한 요구가 높아지는 추세이다.
유해 콘텐츠를 판별 및 차단하는 방법의 최근 기술 동향은 다음과 같이 몇 개의 그룹으로 분류된다.
첫번째 그룹은 입력 영상으로부터 피부영역과 같은 특정 색상분포 영역을 추출하고 피부 영역에 포함되는 픽셀집합으로부터 무게중심 위치, 영역별 분포 형태을 표현하는 특징벡터를 계산한다.
이렇게 계산되는 특징벡터를 입력으로 하는 MLP(Multi-Layer Perceptron), 서포트 벡터 머신(SVM;Support Vector Machine) 등의 인식기를 입력 영상의 유해성 여부 즉, 음란한 영상을 포함하는지 여부를 판별할 수 있도록 학습시킨다.
이러한 접근 방법은 유해 콘텐츠 영상이 기본적으로 노출이 심한 상태에서의 성 행위를 표현하는 경우가 많다는 사전지식을 이용하는 사람이 인지 가능한 직관적인 특성을 이용하는 방법이다.
두 번째 그룹은 기계가 자동으로 추출하는 통계적 특성을 이용하여 입력 영상의 유해성 여부를 판별하는 방법이다. 문서내용의 자동 분류를 위해 연구되어 왔던 BOVW(Bag Of Visual Word) 모델을 영상 인식 문제에 적용하여 영상으로부터 자동으로 탐지된 자연 특징(Natural Feature)으로부터 시각사전(Visual Vocabulary)를 구성하고, 입력된 문서로부터 내용의 분류(Category)를 자동으로 인식하듯이 입력 영상으로부터 영상의 카테고리를 자동으로 판별하는 방법이다.
이 방법을 이용하면 입력 영상에서 남녀 성기가 노출되는 포르노 영상을 분류하는 문제에 있어 기존의 다른 영상인식 방법보다 우수한 성능을 얻는 것으로 학계에 보고되어 왔다.
하지만 이러한 기존 연구들은 입력 영상의 유해성 여부를 결정함에 있어 FPR(False Positive Rate)과 FNR(False Negative Rate)을 모두 최소화하여 연산 결과의 전체적인 정확도(accuracy)를 최대화하는 것을 목적으로 한다.
하지만 기술을 실제 서비스하는 단계에서는 유해 콘텐츠 영상이 재생되는 시간보다 드라마, 뉴스, 영화와 같은 무해 콘텐츠 영상이 재생되는 시간이 비율적으로 월등히 높을 것으로 예상할 수 있다.
무해성이 뚜렷한 영상이 재생되는 대부분의 시간에 많은 연산량을 필요로 하면서 정교한 유무해 판별결과를 산출하는 유무해 판별 기술을 실시간으로 수행하는 것은 시스템의 연산량 절약면에서 매우 비효율 적이다. 간단하고 빠른 필터링 연산만으로 무해성이 뚜렷한 입력 영상들을 고속으로 인식하여 배제시키고 상대적으로 유해 가능성이 높은 영상만을 선별하여 후단의 정밀 유무해 판별엔진으로 전달하는 고속 무해프레임 필터링 기술이 필요하나, 이 분야에서는 아직 뚜렷한 연구 성과가 발표되지 않고 있다.
따라서, 음란한 영상을 포함하는 유해 영상 콘텐츠를 실시간으로 판별함에 있어서, 무해성이 뚜렷한 영상을 고속으로 판별하여 미리 배제함으로써 작업 효율을 향상시키는 무해 프레임 필터 및 이를 포함하는 유해 영상 차단 장치, 무해 프레임을 필터링하는 방법이 필요한 실정이다. 관련 기술로는 한국공개특허 제2012-0105821호가 존재한다.
본 발명의 목적은, 상기 문제점을 해결하기 위한 것으로, 입력되는 다수의 프레임 영상 중 무해성이 뚜렷한 영상을 고속으로 판별 후 미리 배제하고 유해 가능성이 높은 영상만을 선별함으로써, 추후에 정밀하게 진행될 유해성 판단의 속도를 향상시키고 메모리의 부담을 경감시키는 것을 가능케 하는 것이다.
상기한 목적을 달성하기 위한 본 발명에 따른 무해 프레임 필터는, 입력 영상을 대상으로 피부 영역 후보 픽셀을 추출하고, 상기 입력 영상에 대한 상기 피부 영역 후보 픽셀의 비율을 기반으로 무해 프레임을 1차적으로 필터링하는 1차 필터링부 및 상기 피부 영역 후보 픽셀을 대상으로 2차원 영상 공간에서의 분포 특성을 표현하는 BBP(Block Binary Patter) 히스토그램을 생성하고, 기정해진 학습 데이터와 상기 히스토그램을 비교함으로써 무해 프레임을 2차적으로 필터링하는 2차 필터링부를 포함한다.
이 때, 상기 1차 필터링부는, 상기 입력 영상의 픽셀에서의 RGB 색상 정보를 HSV 색공간으로 변환하여 Hue 히스토그램을 생성하고, 상기 Hue 히스토그램의 기정해진 색상(H;Hue) 채널에서 밀도 합이 최대가 되는 최대 밀도 영역을 피부 영역 후보 픽셀의 범위로 결정하는 피부 픽셀 추출 모듈을 포함할 수 있다.
이 때, 상기 1 차 필터링부는, 상기 최대 밀도 영역의 최대 밀도 합이, 기정해진 제 1 설정 값 이하인 경우에는, 상기 입력 영상을 무해 영상으로 판단하고, 상기 제 1 설정 값을 초과하는 경우에는, 상기 입력 영상을 유해 후보 영상으로 판단하여 상기 피부 영역 후보 픽셀로부터 이진화된 알파맵을 생성하여 상기 2차 필터링부에 전달하는 피부 픽셀 기반 1차 필터링 모듈을 포함할 수 있다.
이 때, 상기 2차 필터링부는, 상기 알파맵에 대하여 후처리 과정을 수행하여 잡음 효과가 보정된 후처리 알파맵을 생성하는 피부 영역 후처리 모듈을 포함할 수 있다.
이 때, 상기 피부 영역 후처리 모듈은, 컬러(Color) 입력 영상을 흑백 영상으로 변환하고, 에지 연산자를 이용하여 에지 영상을 생성하는 에지 영상 생성 서브 모듈, 에지 합 영상을 생성하는 에지합 영상 생성 서브 모듈, 에지 밀도를 생성하는 에지 밀도 영상 생성 서브 모듈, 상기 알파맵에서 에지 밀도 값이 기정해진 제 2 설정 값 이상인 픽셀들을 배경 영역으로 판단하여 상기 알파맵을 수정하는 알파맵 필터링 서브 모듈 및 상기 에지 연산자의 모포로지 닫힘(Closing) 및 열림(Opening) 연산을 순차적으로 적용하여 상기 알파맵의 노이즈를 감소시키는 모포로지 연산 서브 모듈을 포함할 수 있다.
이 때, 상기 2차 필터링부는, 상기 후처리 알파맵을 대상으로 하여, 사람의 피부로부터 추출된 피부 픽셀들이, 피부색상과 유사함으로 인해 피부 영역으로 오인된 배경 영역의 피부 색상 픽셀들과 차별되는 영상 평면에서의 분포 특성을 추출하는 BBP 히스토그램 생성 모듈을 포함할 수 있다.
이 때, 상기 BBP 히스토그램 생성 모듈은, 상기 후처리 알파맵을 소정의 개수로 형성되는 행렬인 영상 블록으로 분할하고, 분할된 영상 블록에서 차지하는 피부 픽셀의 비율을 기반으로 상기 분할된 영상 블록 각각을 피부 영상 블록 또는 비피부 영상블록으로 분류하는 알파맵 블록 행렬 생성 서브 모듈, 상기 피부 영상 블록을 중심으로 하여 주변 영상 블록들에서 상기 피부 영상 블록의 분포 형태를 BBP 블록 회전변환 및 BBP 배치방향 역전 변환을 통하여 중복되지 않는 51개의 BBP 패턴으로 표현하는 BBP 매칭 서브 모듈 및 상기 BBP 매칭 서브 모듈을 통하여 표현된 BBP의 개수를 검출하여 BBP 히스토그램을 생성하는 BBP 히스토그램 생성 서브 모듈을 포함할 수 있다.
이 때, 상기 BBP 매칭 서브 모듈은, 상기 분할된 영상 블록을 갖는 알파맵의 범위 안에서, 2행 2열 위치의 블록은 피부 영상 블록인 복수개의 3 X 3 행렬 단위를 대상으로 51개의 BBP 패턴을 표현할 수 있다.
이 때, 상기 2차 필터링부는, 상기 BBP 히스토그램을 공간 차수(dimension)가 51인 특징벡터로 지정하여, K 평균 군집화 기법(K means clustering) 또는 서포트 벡터 머신(SVM;Support Vector Machine)을 기반으로 상기 기정해진 학습 데이터와 비교함으로써 무해 프레임을 2차적으로 필터링하는 BBP 기반 2차 필터링 모듈을 포함할 수 있다.
또한, 상기한 목적을 달성하기 위한 유해 영상 차단 장치는, 무해 프레임 필터에 의하여 무해 프레임을 필터링하여 획득한 필터링 입력 영상을 대상으로 하여, 유해 콘텐츠 사전 지식 DB(Data Base)에 저장된 학습 데이터를 기반으로 상기 필터링 입력 영상이 유해 영상인지 여부를 판단하는 유해성 판단부 및 상기 유해성 판단부에서 판단된 유해 영상인지 여부에 대한 결과를 시간축 상에서 누적하여 종합하며, 현재 재생되는 영상이 유해 영상인지를 최종적으로 판단하여 유해 영상으로 판단되는 경우, 상기 현재 재생되는 영상을 차단하는 유해 영상 차단부를 포함한다.
또한, 상기한 목적을 달성하기 위한 본 발명에 따른 무해 프레임을 필터링하는 방법은, 1차 필터링부에 의하여, 입력 영상을 대상으로 피부 영역 후보 픽셀을 추출하고, 상기 입력 영상에 대한 상기 피부 영역 후보 픽셀의 비율을 기반으로 무해 프레임을 1차적으로 필터링하는 1차 필터링 단계 및 2차 필터링부에 의하여, 상기 피부 영역 후보 픽셀을 대상으로 2차원 영상 공간에서의 분포 특성을 표현하는 BBP(Block Binary Patter) 히스토그램을 생성하고, 기정해진 학습 데이터와 상기 히스토그램을 비교함으로써 무해 프레임을 2차적으로 필터링하는 2차 필터링 단계를 포함한다.
이 때, 상기 1차 필터링 단계는, 상기 입력 영상의 픽셀에서의 RGB 색상 정보를 HSV 색공간으로 변환하여 Hue 히스토그램을 생성하고, 상기 Hue 히스토그램의 기정해진 색상(H;Hue) 채널에서 밀도 합이 최대가 되는 최대 밀도 영역을 피부 영역 후보 픽셀의 범위로 결정하는 피부 픽셀 추출 단계를 포함할 수 있다.
이 때, 상기 1 차 필터링 단계는, 상기 피부 픽셀 추출 단계 이후에, 상기 최대 밀도 영역의 최대 밀도 합이, 기정해진 제 1 설정 값 이하인 경우에는, 상기 입력 영상을 무해 영상으로 판단하고, 상기 제 1 설정 값을 초과하는 경우에는, 상기 입력 영상을 유해 후보 영상으로 판단하여 상기 피부 영역 후보 픽셀로부터 이진화된 알파맵을 생성하는 피부 픽셀 기반 1차 필터링 단계를 포함할 수 있다.
이 때, 상기 2차 필터링 단계는, 상기 피부 픽셀 기반 1차 필터링 단계에서 생성된 알파맵에 대하여 후처리 과정을 수행하여 잡음 효과가 보정된 후처리 알파맵을 생성하는 피부 영역 후처리 단계를 포함할 수 있다.
이 때, 상기 피부 영역 후처리 단계는, 컬러(Color) 입력 영상을 흑백 영상으로 변환하고, 에지 연산자를 이용하여 에지 영상을 생성하는 에지 영상 생성 서브 단계, 에지 합 영상을 생성하는 에지합 영상 생성 서브 단계, 에지 밀도를 생성하는 에지 밀도 영상 생성 서브 단계, 상기 알파맵에서 에지 밀도 값이 기정해진 제 2 설정 값 이상인 픽셀들을 배경 영역으로 판단하여 상기 알파맵을 수정하는 알파맵 필터링 서브 단계 및 상기 에지 연산자의 모포로지 닫힘(Closing) 및 열림(Opening) 연산을 순차적으로 적용하여 상기 알파맵의 노이즈를 감소시키는 모포로지 연산 서브 단계를 포함할 수 있다.
이 때, 상기 2차 필터링 단계는, 상기 피부 영역 후처리 단계 이후에, 상기 후처리 알파맵을 대상으로 하여, 사람의 피부로부터 추출된 피부 픽셀들이, 피부색상과 유사함으로 인해 피부 영역으로 오인된 배경 영역의 피부 색상 픽셀들과 차별되는 영상 평면에서의 분포 특성을 추출하는 BBP 히스토그램 생성 단계를 포함할 수 있다.
이 때, 상기 BBP 히스토그램 생성 단계는, 상기 후처리 알파맵을 소정의 개수로 형성되는 행렬인 영상 블록으로 분할하고, 분할된 영상 블록에서 차지하는 피부 픽셀의 비율을 기반으로 상기 분할된 영상 블록 각각을 피부 영상 블록 또는 비피부 영상블록으로 분류하는 알파맵 블록 행렬 생성 서브 단계, 상기 피부 영상 블록을 중심으로 하여 주변 영상 블록들에서 상기 피부 영상 블록의 분포 형태를 BBP 블록 회전변환 및 BBP 배치방향 역전 변환을 통하여 중복되지 않는 51개의 BBP 패턴으로 표현하는 BBP 매칭 서브 단계 및 상기 BBP 매칭 서브 단계에서 표현된 BBP의 개수를 검출하여 BBP 히스토그램을 생성하는 BBP 히스토그램 생성 서브 단계를 포함할 수 있다.
이 때, 상기 BBP 매칭 서브 단계는, 상기 분할된 영상 블록을 갖는 알파맵의 범위 안에서, 2행 2열 위치의 블록은 피부 영상 블록인 복수개의 3 X 3 행렬 단위를 대상으로 51개의 BBP 패턴을 표현할 수 있다.
이 때, 상기 2차 필터링 단계는, 상기 BBP 히스토그램 생성 단계 이후에, 상기 BBP 히스토그램을 공간 차수(dimension)가 51인 특징벡터로 지정하여, K 평균 군집화 기법(K means clustering) 또는 서포트 벡터 머신(SVM;Support Vector Machine)을 기반으로 상기 기정해진 학습 데이터와 비교함으로써 무해 프레임을 2차적으로 필터링하는 BBP 기반 2차 필터링 단계를 포함할 수 있다.
이 때, 상기 2차 필터링 단계 이후에, 상기 2차 필터링 단계에서 필터링하여 획득한 필터링 입력 영상을 대상으로 하여, 유해 콘텐츠 사전 지식 DB(Data Base)에 저장된 학습 데이터를 기반으로 상기 필터링 입력 영상이 유해 영상인지 여부를 판단하는 유해성 판단 단계 및 상기 유해성 판단 단계에서 판단된 유해 영상인지 여부에 대한 결과를 시간축 상에서 누적하여 종합하며, 현재 재생되는 영상이 유해 영상인지를 최종적으로 판단하여 유해 영상으로 판단되는 경우, 상기 현재 재생되는 영상을 차단하는 유해 영상 차단 단계를 더 포함할 수 있다.
본 발명에 의하면, 입력되는 다수의 프레임 영상 중 무해성이 뚜렷한 영상을 고속으로 판별 후 미리 배제하고 유해 가능성이 높은 영상만을 선별함으로써, 추후에 정밀하게 진행될 유해성 판단의 속도를 향상시키고 메모리의 부담을 경감시키는 효과를 창출할 수 있다.
도 1은 본 발명에 따른 무해 프레임 필터 및 유해 영상 차단 장치의 시스템 구성도를 설명하기 위한 도면이다.
도 2는 본 발명에 따른 무해 프레임 필터의 블록도이다.
도 3은 본 발명에 따른 무해 프레임 필터의 1차 필터링부 및 2차 필터링부를 설명하기 위한 도면이다.
도 4는 2차 필터링부의 피부 영역 후처리 모듈을 설명하기 위한 도면이다.
도 5는 2차 필터링부의 BBP 히스토그램 생성 모듈을 설명하기 위한 도면이다.
도 6 및 도 7은 유해 영상의 Hue 히스토그램을 설명하기 위한 도면이다.
도 8 및 도 9는 무해 영상의 Hue 히스토그램을 설명하기 위한 도면이다.
도 10은 유해 영상의 Hue 히스토그램에서의 최대 밀도합을 설명하기 위한 도면이다.
도 11은 무해 영상의 Hue 히스토그램에서의 최대 밀도합을 설명하기 위한 도면이다.
도 12는 입력 영상이 무해 영상인 경우를 설명하기 위한 도면이다.
도 13은 본 발명과 종래기술의 피부 픽셀 추출 결과를 비교하기 위한 도면이다.
도 14는 무해 영상에서 피부 영역을 추출하기 전의 모습을 설명하기 위한 도면이다.
도 15는 무해 영상에서 피부 영역을 추출한 모습을 설명하기 위한 도면이다.
도 16은 BBP 배치방향 역전 변환을 설명하기 위한 도면이다.
도 17은 BBP 블록 회전변환 및 BBP 배치방향 역전 변환의 불변속성을 설명하기 위한 도면이다.
도 18은 동일하지 않은 것으로 간주되는 LBP 샘플을 설명하기 위한 도면이다.
도 19 내지 도 21은 본 발명에서 제안하는 51개의 BBP 패턴을 설명하기 위한 도면이다.
도 22는 본 발명에 따른 무해 프레임을 필터링하는 방법의 흐름도이다.
도 23 및 도 24는 본 발명에 따른 무해 프레임을 필터링하는 방법의 실시예를 설명하기 위한 도면이다.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다.
본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다.
이하, 상기한 목적을 달성하기 위한 본 발명에 따른 무해 프레임 필터 및 유해 영상 차단 장치의 시스템 구성도에 대하여 설명하도록 한다.
도 1은 본 발명에 따른 무해 프레임 필터 및 유해 영상 차단 장치의 시스템 구성도를 설명하기 위한 도면이다.
유해 영상이란, 남녀의 성기가 노출되거나, 성행위 및 유사 성행위를 보여주는 음란 동영상을 지칭한다. 이와 대조적으로 유해 후보 영상은 전체 영상 크기 대비 노출된 피부영역의 비율이 일정 비율 이상으로 높으면서 영상의 대략적인 형태 특성이 유해 가능성을 의심해 볼 수 있는 영상 전부를 의미하며, 일반적으로 위의 유해 영상을 포함하여 수영복 영상, 속옥 CF, 노출이 심한 연예인의 공연 영상 등을 포괄적으로 포함한다.
일반적으로 유해 영상 및 무해 영상의 판별 기술의 성능을 언급함에 있어 타겟(Target) 영상은 위에서 언급한 유해 영상을 의미하지만 후술할 본 발명에 따른 무해 프레임 필터에서의 타겟 영상은 유해 영상을 포함하는 유해 후보 영상 전체를 포함한다.
유해 후보 영상의 색상분포 특성을 추출함에 있어 언급될 피부영역이란 영상에서 사람의 노출된 피부 영역에 포함되는 영역을 의미하며 배경영역이란 입력영상에서 피부영역을 제외한 그 외 모든 영역을 포함하는 의미를 갖는다.
도 1을 참조하여 설명하면, 본 발명에 따른 무해 프레임 필터(100)는, 유해성 판단부(200) 및 유해 영상 차단부(300)를 더 포함하는 본 발명에 따른 유해 영상 차단 장치(1000)의 일부분에 해당되며, 상기 유해 영상 차단 장치(1000)의 앞 단에서 무해 프레임의 가능성이 높은 영상을 먼저 필터링하게 된다.
즉, 유해성 판단부(200)에서 입력 영상(20)을 정밀하게 판단하기 전에 선행하여 무해 영상으로 판단되는 프레임을 필터링함으로써, 상기 유해성 판단부(200)의 작업 속도 및 메모리 상의 과부하를 방지할 수 있게 되는 것이다.
구체적으로, 상기 본 발명에 따른 유해 영상 차단 장치(1000)는, 상기 본 발명에 따른 무해 프레임 필터(100)에 의하여 무해 프레임을 필터링하여 획득한 필터링 입력 영상을 대상으로 하여, 유해 콘텐츠 사전 지식 DB(Data Base)(30)에 저장된 학습 데이터를 기반으로 상기 필터링 입력 영상이 유해 영상인지 여부를 판단하는 유해성 판단부(200) 및 상기 유해성 판단부(200)에서 판단된 유해 영상인지 여부에 대한 결과를 시간축 상에서 누적하여 종합하며, 현재 재생되는 영상이 유해 영상인지를 최종적으로 판단하여 유해 영상으로 판단되는 경우, 상기 현재 재생되는 영상을 차단하는 유해 영상 차단부(300)를 포함한다.
여기서, 상기 필터링 입력 영상이라 함은, 상기 입력 영상(20)이 본 발명에 따른 상기 무해 프레임 필터(100)를 통과하여 무해 프레임이 필터된 영상을 의미한다. 즉, 상기 무해 프레임 필터(100)를 통과하기 전의 영상은 입력 영상(20)으로 칭하고, 상기 무해 프레임 필터(100)를 통과한 영상을 필터링 입력 영상이라 칭한다.
보다 구체적으로, 로컬 스토리지(11) 및 실시간 스트리밍 서비스(12) 등의 영상 매체(10)에서 동영상이 재생이 되는 동안 모든 프레임 영상이 무해 프레임 필터(100)의 입력으로 들어온다. 무해 프레임 필터(100)에서는 무해성이 뚜렷한 입력 영상들은 모두 필터링 즉, 차단하고 유해성이 의심되는 유해 후보 영상만을 선별하여 그 결과를 유해성 판단부(200)로 전달한다.
상기 유해성 판단부(200)에서는 상기 무해 프레임 필터(100)를 통과하여 유해 후보 영상으로 선별된 필터링 입력 영상들의 유해성 여부를 더욱 정밀한 영상 인식 기술을 이용하여 판별하고 그 결과를 유해 영상 차단부(300)로 전달한다.
상기 유해 영상 차단부(300)에서는 상기 유해성 판단부(200)로부터 전달 받은 유무해 판별 결과를 시간축 상에서 누적하고 종합하여, 현재 재생되는 동영상의 유해성 여부를 최종 판단하고 유해 콘텐츠로 판단되었을 경우 영상 매체(10)의 동영상 재생을 중단시켜 사용자의 유해 콘텐츠 감상을 차단한다.
이하, 도면을 참조하여 본 발명에 따른 무해 프레임 필터에 대하여 구체적으로 설명하도록 한다. 도 2는 본 발명에 따른 무해 프레임 필터의 블록도이다. 도 3은 본 발명에 따른 무해 프레임 필터의 1차 필터링부 및 2차 필터링부를 설명하기 위한 도면이다.
도 2를 참조하여 설명하면, 본 발명에 따른 무해 프레임 필터(100)는 1차 필터링부(110) 및 2차 필터링부(120)를 포함하여 구성된다.
상기 입력 영상(20)에 대하여 상기 1차 필터링부(110)에서 무해 프레임을 1차적으로 필터링하고, 상기 2차 필터링부(120)에서 무해 프레임을 2차적으로 필터링하는 것이다.
구체적으로, 상기 1차 필터링부(110)는, 입력 영상(20)을 대상으로 피부 영역 후보 픽셀을 추출하고, 상기 입력 영상에 대한 상기 피부 영역 후보 픽셀의 비율을 기반으로 무해 프레임을 1차적으로 필터링하는 기능을 수행하며, 상기 2차 필터링부(120)는, 상기 피부 영역 후보 픽셀을 대상으로 2차원 영상 공간에서의 분포 특성을 표현하는 BBP(Block Binary Patter) 히스토그램을 생성하고, 기정해진 학습 데이터와 상기 히스토그램을 비교함으로써 무해 프레임을 2차적으로 필터링하는 기능을 수행하게 된다.
상기 2차 필터링부(120)에 의하여 상기 입력 영상(20)이 필터링 되면, 필터링 입력 영상을 상기 유해성 판단부(200)에 전달한다.
즉, 본 발명에 따른 상기 무해 프레임 필터(100)는, 상기 1차 필터링부(110)에 의하여 일단 무해 프레임 피부픽셀 추출결과를 활용하는 1차 필터링 단계와, 상기 2차 필터링부(120)에 의하여 2D 영상영역에서 피부영역의 분포 특성을 이용하는 2차 필터링 단계로 구성된다.
상기 1차 필터링 단계는 유해 후보 영상은 일정 비율 이상의 피부영역 픽셀을 포함한다는 가정을 바탕으로, 입력 영상에 대해서 적응적인 방법을 이용하여 피부영역에 속할 가능성이 높은 피부영역 후보픽셀들을 추출하고 이들 피부영역 후보픽셀의 개수 합이 전체 영상의 픽셀 개수 총합 대비 일정 비율 이상이면 1차 유해 후보 영상으로 간주하고 그 이하이면 무해 영상으로 간주한다.
2차 필터링 단계는 유해 후보 영상의 피부영역 픽셀들이 2D 영상공간에서 분포하는 형태에 있어 약간의 통계적 특성이 존재한다는 가정을 바탕으로 1차 필터링 단계에서 통과된 1차 유해 후보 영상들 중에서 무해 가능성이 높은 영상들을 다시 필터링하여 최종적인 유해 후보 영상을 추출한다.
이 단계에서의 무해 프레임을 필터링하는 원리를 직관적인 예로 설명하자면, 피부영역 후보 픽셀들이 아무리 많이 검출되더라도 2D 영상 공간에서 Salt and pepper 잡음과 유사한 형태로 흩어져 분포한다면 이는 실제 피부영역으로부터 검출된 픽셀들이 아니라 피부색과 유사한 배경영역으로부터 검출된 픽셀들일 가능성이 높고 입력영상의 유해 가능성을 낮게 추정하는 경우를 생각할 수 있다.
이러한 개념을 구현하기 위해서 앞서 1차 필터링 단계에서 추출된 피부영역 후보픽셀로부터 후처리 과정을 거쳐 잡음효과가 보정된 피부영역을 추정하고 이들 피부영역의 2D 영상 공간에서의 분포특성을 표현하는 BBP(Block Binary Patter) 히스토그램을 계산하여 학습데이터와 비교하고 유해 후보 영상만을 선별하여 그 결과를 후단의 유해성 판단부로 전달한다.
도 3을 참조하여, 상기 1차 필터링부(110) 및 상기 2차 필터링부(120)의 동작 및 구성에 대하여 보다 구체적으로 설명하면, 상기 1차 필터링부(110)는, 피부 픽셀 추출 모듈(111) 및 피부 픽셀 기반 1차 필터링 모듈(112)을 포함한다.
또한, 상기 2차 필터링부(120)는 피부 영역 후처리 모듈(121), BBP(Block Binary Pattern) 히스토그램 생성 모듈(122) 및 BBP 기반 2차 필터링 모듈(123)을 포함한다.
상기 피부 픽셀 추출 모듈(111)은, 상기 입력 영상의 픽셀에서의 RGB 색상 정보를 HSV 색공간으로 변환하여 Hue 히스토그램을 생성하고, 상기 Hue 히스토그램의 기정해진 색상(H;Hue) 채널에서 밀도 합이 최대가 되는 최대 밀도 영역을 피부 영역 후보 픽셀의 범위로 결정하는 기능을 수행한다.
또한, 상기 피부 픽셀 기반 1차 필터링 모듈(112)은, 상기 최대 밀도 영역의 최대 밀도 합이, 기정해진 제 1 설정 값 이하인 경우에는, 상기 입력 영상을 무해 영상으로 판단하고, 상기 제 1 설정 값을 초과하는 경우에는, 상기 입력 영상을 유해 후보 영상으로 판단하여 상기 피부 영역 후보 픽셀로부터 이진화된 알파맵을 생성하여 상기 2차 필터링부(120)에 전달하는 기능을 수행한다.
이하, 도면을 참조하여, 상기 1차 필터링부(110)의 상기 피부 픽셀 추출 모듈(111) 및 상기 피부 픽셀 기반 1차 필터링 모듈(112)의 동작에 대하여 보다 구체적으로 설명하도록 한다.
도 6 및 도 7은 유해 영상의 Hue 히스토그램을 설명하기 위한 도면이다. 도 8 및 도 9는 무해 영상의 Hue 히스토그램을 설명하기 위한 도면이다. 도 10은 유해 영상의 Hue 히스토그램에서의 최대 밀도합을 설명하기 위한 도면이다. 도 11은 무해 영상의 Hue 히스토그램에서의 최대 밀도합을 설명하기 위한 도면이다. 도 12는 입력 영상이 무해 영상인 경우를 설명하기 위한 도면이다. 도 13은 본 발명과 종래기술의 피부 픽셀 추출 결과를 비교하기 위하나 도면이다. 도 14는 무해 영상에서 피부 영역을 추출하기 전의 모습을 설명하기 위한 도면이다. 도 15는 무해 영상에서 피부 영역을 추출한 모습을 설명하기 위한 도면이다.
상기 피부 픽셀 추출 모듈(111)은 우선 상기 입력영상(20)의 각각의 픽셀에서의 RGB 색상정보를 HSV 색공간으로 변환하고 색상(Hue 이하 H) 채널에서 피부영역 후보픽셀의 범위를 결정한다. HSV 색공간에서 H값을 이용해서 피부영역 픽셀을 구분하는 방법은 조명조건 변화 및 전체적인 영상 톤 변화에 강인한 피부영역 추출을 가능하게 한다. HSV 색공간에서 피부영역을 추출하는 기존의 방법은 유해 콘텐츠 영상에 대한 사전지식을 바탕으로 고정된 특정 범위의 H값을 갖는 픽셀들을 모두 피부영역 픽셀로 간주한다.("A New Skin Detection Approach for Adult Image Identification," A.N.Ghomsheh, RJASET 2012)
즉, 사전에 정해진 Hmin, Hmax 에 따라 H가 Hmin ~ Hmax 범위에 있는 픽셀들을 모두 피부영역 픽셀로 간주하는 방법이 가능하다.
하지만 이러한 접근 방법은 영상내의 모든 피부영역 픽셀들을 검출하기 위해서는 Hmin~Hmax 의 범위를 넓게 설정해야 하고 그렇게 할 경우 배경영역에서 피부색과 유사한 영역 픽셀들이 다수 검출된다는 문제점을 갖는다.
이러한 문제점을 개선하기 위해서 피부색상 픽셀로 간주하는 Hmin~Hmax 의 범위를 입력 영상에 따라 적응적으로 결정하는 방법을 제안한다. 제안 방법에서 활용하는 기본 전제는 입력 영상이 유해 영상일 경우, 입력 영상에 대한 H 히스토그램을 계산하였을 때 사전에 정의한 넓은 범위의 색상 후보 영역 Hwide min~Hwide max 안에서 좁은 범위에서 밀도가 집중되는 커널 영역이 관찰되는 특성을 갖는다는 가정이다.
이러한 가정은 입력 영상을 사진작가의 예술성을 부여한 스틸 누드 사진이 아니라 상업적인 음란 동영상이라 한정하였을 경우 비교적 잘 부합되는 가정이다.
도 6을 참조하면, 유해 영상을 확인할 수 있는데, 도 6에는 피부색을 갖는 피부 영역(61)과 노란색의 배경 영역(62)이 함께 존재한다. 이러한 유해 영상에 대한 Hue 히스토그램이 도 7에 도시되어 있다. 도 7을 참조하면, Hue 히스토그램이 10~40 범위에서 두 개의 피크 형태(71,72) 분포를 갖는 것을 확인할 수 있다.
도 8을 참조하면, 무해 영상을 확인할 수 있는데, 도 8에는 파란색의 하늘 영역(81)과 파란색의 호수 영역(82)이 함께 존재한다. 이러한 무해 영상에 대한 Hue 히스토그램이 도 9에 도시되어 있다. 도 9를 참조하면, Hue 히스토그램이 유해 영상의 Hue 히스토그램에 비하여 상대적으로 넓게 분포하면서 상기 하늘 영역(81)과 상기 호수 영역(82)으로 인하여 파란색에 해당하는 H 영역에서 밀도가 집중된 모습을 확인할 수 있다.
상기 유해 영상에서 기존 방법처럼 고정된 범위 Hmin~Hmax 안의 픽셀들을 피부영역 픽셀로 가정할 경우, Hmin~Hmax 범위를 넓게 고정할 경우 상기 노란색의 배경 영역(62)이 모두 피부 영역으로 오인되어 검출될 것이다.
이를 방지하기 위해서 Hmin~Hmax 범위를 좁게 고정할 경우 영상에 따라 편차를 보이는 피부색상 분포를 충분히 포함할 수 없으며 피부영역의 일부만이 검출될 것이다.
따라서, 상기 피부 픽셀 추출 모듈(111)은 입력 영상(20)의 픽셀에서의 RGB 색상 정보를 HSV 색공간으로 변환하여 Hue 히스토그램을 생성하고, 상기 Hue 히스토그램의 기정해진 색상(H;Hue) 채널에서 밀도 합이 최대가 되는 최대 밀도 영역을 피부 영역 후보 픽셀의 범위로 결정하게 되는 것이다.
구체적으로, 도 10 및 도 11을 참조하면, 입력으로 들어온 유해 영상에서 큰 점선 박스(L)로 표현되는 넓은 색상분포 후보 영역 Hwide min~Hwide max에서 작은 점선 박스(S)로 표현되는 좁은 윈도우를 이동시키며 좁은 윈도우 안의 H 히스토그램 합(이하 밀도 합)이 최대가 되는 위치를 찾는 과정을 거치게 된다.
즉, 넓은 피부색상 후보 범위 Hwide min~Hwide max안에서 좁은 윈도우(S)의 중심을 이동시키며 해당 위치의 좁은 윈도우 안의 밀도 합을 계산하고 이러한 밀도 합이 최대가 되는 위치를 탐색한다.
도 10에서는 입력 영상이 유해 영상이므로 피부 영역을 검출할 수 있었으나, 도 11에서는 입력 영상이 무해 영상일 경우이므로 좁은 윈도우를 이동시키며 밀도합의 최대값을 탐색하더라도 그 값이 매우 낮게 산출되는 예를 보여준다. 실시 예에서는 Hwide min~Hwide max를 10~40으로 설정하고 좁은 윈도우의 윈도우 크기는 7로 설정하였다. 밀도 합 최대값에 대해 유해 후보 영상 여부를 결정하는 기준 값은 뒤에서 설명할 학습단계에서 결정한다.
상기 피부 픽셀 기반 1차 필터링 모듈(112)에서는 이렇게 계산된 최대 밀도 합이 일정 기준 값 이상이면 1차 유해 후보 영상으로 간주하여 추출된 피부영역 픽셀로부터 이진화된 알파맵 영상을 생성하여 상기 2차 필터링부(120)의 피부 영역 후처리 모듈(121)에 전달한 후 2차 필터링 단계를 진행하고, 최대 밀도합의 최대값이 일정 기준 값 이하이면 무해 영상으로 간주하여 이후 모듈의 연산을 수행하지 않고 상기 유해성 판단부(200)에 현재 입력 영상이 무해 영상임을 통보할 수 있다.
도 12 및 도 13을 참조하면, 종래의 기술과 본 발명을 비교하여 피부 픽셀 추출한 결과를 확인할 수 있다.
도 12는 원본 입력 영상이며, 도 13은 도 12에 도시된 원본 입력 영상에 대하여 피부 픽셀을 추출한 결과를 종래 기술과 본 발명을 비교할 수 있는 도면이다.
구체적으로, 도 13은 본 발명에 따른 방법을 사용하였을 경우와, Hue 값에 대해서 고정된 Hmin~Hmax 범위 안의 픽셀들을 피부픽셀로 간주하는 기존 방법을 사용하였을 경우, 무해 영상이 입력으로 들어왔을 때 피부픽셀 추출 결과를 도시한다.
피부 추정 픽셀은 입력영상의 원본 컬러로 표현하고 피부추정 픽셀이 아닌 픽셀은 검은색으로 수정하여 피부픽셀 추출 결과를 표현하였다. 도 13에 도시된 바와 같이. 본 발명에 따른 방법을 사용하였을 경우 무해 영상에서 피부 픽셀로 오탐지된 픽셀 양이 더 적은 것을 확인할 수 있으며 이는 상기 피부 픽셀 기반 1차 필터링 모듈(120)에서 결과도의 정확도 향상을 가능하게 한다.
상기 1차 필터링부(110)에 의한 1차 필터링 단계에서 피부 픽셀의 비율에 따라 무해 프레임을 필터링하면 많은 무해 프레임들이 필터링 되지만 실제로 피부영역이 아니면서 피부와 유사한 픽셀들을 다량 포함하는 무해영상들은 걸러지지 않고 유해 후보 영상으로 잘못 인식된다.
이는 1차 필터링 단계에서 영상 평면상의 위치 정보를 고려하지 않고 색상공간에서의 통계적인 분포 정보만을 사용하기 때문에 발생하는 문제이다.
상기 2차 필터링부(120)에 의한 2차 필터링 단계에서는 색상공간에서의 분포 뿐만 아니라 영상 평면상에서 피부 픽셀의 분포 정보를 함께 고려하여 이러한 문제를 일부 해결한다.
도 14는 피부색상과 유사한 픽셀들을 다수 포함하는 무해 영상의 예이며, 도 15는 상기 2차 필터링부(120)의 상기 피부 영역 후처리 모듈(121)에서의 후처리 과정을 거친 후 피부 픽셀로 추정되는 픽셀들의 색상만을 가시화한 것이다.
보다시피 무해 영상에서 피부영역으로 추정되는 픽셀들은 유해 영상의 피부 픽셀들보다 파편적으로 끊어지고 비교적 넓게 분포하는 것을 확인할 수 있다. 하지만 피부픽셀 분포 관련해서 영상평면에서 단순히 정량화된 밀집도만을 기준으로 유무해를 판별할 경우 피부 픽셀들의 영역이 분할되어 검출되는 경우 입력 영상이 무해영상으로 오인될 우려가 있다.
그러므로 상기 2차 필터링부(120)에 의하여 2차 필터링 단계에서는 사전에 학습데이터의 무해영상군과 유해영상군의 피부픽셀 분포 특성을 모델링하고 이를 활용하여 1차 필터링 단계에서 유해 후보 영상들로 오인된 무해영상을 추가 필터링할 필요가 있다. 단, 이 때의 인식 방법은 특징점 매칭 및 픽셀수준의 통계적 특성을 추출하였던 기존의 방법과 다르게 보다 경량화된 방법으로 무해성이 뚜렷한 입력영상들을 빠르게 필터링해야 한다.
이하, 도면을 참조하여, 상기 2차 필터링부(120)의 상기 피부 영역 후처리 모듈(121), 상기 BBP 히스토그램 생성 모듈(122) 및 상기 BBP 기반 2차 필터링 모듈(123)의 동작에 대하여 보다 구체적으로 설명하도록 한다. 도 4는 2차 필터링부의 피부 영역 후처리 모듈을 설명하기 위한 도면이다. 도 5는 2차 필터링부의 BBP 히스토그램 생성 모듈을 설명하기 위한 도면이다.
도 4를 참조하여 설명하면, 상기 피부 영역 후처리 모듈(121)은, 상기 알파맵에 대하여 후처리 과정을 수행하여 잡음 효과가 보정된 후처리 알파맵을 생성하는 기능을 수행하며, 에지 영상 생성 서브 모듈(121a), 에지합 영상 생성 서브 모듈(121b), 에지 밀도 영상 생성 서브 모듈(121c), 알파맵 필터링 서브 모듈(121d) 및 모포로지 연산 서브 모듈(121e)을 포함한다.
보다 구체적으로, 상기 피부 영역 후처리 모듈(121)은, 컬러(Color) 입력 영상을 흑백 영상으로 변환하고, 에지 연산자를 이용하여 에지 영상을 생성하는 에지 영상 생성 서브 모듈(121a), 에지 합 영상을 생성하는 에지합 영상 생성 서브 모듈(121b), 에지 밀도를 생성하는 에지 밀도 영상 생성 서브 모듈(121c), 상기 알파맵에서 에지 밀도 값이 기정해진 제 2 설정 값 이상인 픽셀들을 배경 영역으로 판단하여 상기 알파맵을 수정하는 알파맵 필터링 서브 모듈(121d) 및 상기 에지 연산자의 모포로지 닫힘(Closing) 및 열림(Opening) 연산을 순차적으로 적용하여 상기 알파맵의 노이즈를 감소시키는 모포로지 연산 서브 모듈(121e)을 포함할 수 있다.
상기 에지 영상 생성 서브 모듈(121a)에서는 컬러 입력 영상을 흑백영상(Gray image)으로 변환하고 소벨 연산자 등의 에지 연산자를 이용하여 에지영상 E를 생성한다. 상기 에지합 영상 생성 서브 모듈(121b)에서는 하기 수학식 1을 통하여 에지합 영상 Esum을 생성하고, 상기 에지 밀도 영상 생성 서브 모듈(121c)에서는 하기 수학식 2를 통하여 에지밀도 영상 Edns를 생성한다.
Figure pat00001
Figure pat00002
또한, 상기 알파맵 필터링 서브 모듈(121d)에서는 앞서 상기 1차 필터링부(110)에 의한 1차 필터링 단계에서 구해진 피부 픽셀 알파맵에서 에지밀도가 일정값 이상이 픽셀들은 배경영역으로 간주하여 피부 픽셀 알파맵을 수정한다. 상기 모포로지 연산 서브 모듈(121e)에서는 모포로지 닫힘(Closing), 열림(Opening)연산을 순차적으로 적용하여 피부픽셀 알파맵에서의 잡음효과를 감소시킨다.
이 때, 에지 영상은 상기 에지 영상 생성 서브 모듈(121a)의 결과이며 에지밀도 영상은 상기 에지 밀도 영상 생성 서브 모듈(121c)의 결과에서 밀도가 일정값 이상인 픽셀들을 255로, 그 외의 픽셀들은 0으로 표현한 영상이다. 즉, 상기 피부 영역 후처리 모듈(121)의 최종결과로 얻어진 알파맵을 이용하여 피부 영역은 원본영상의 컬러 값을 표현하고 배경 영역은 0으로 설정하게 된다.
도 5를 참조하면, 상기 BBP 히스토그램 생성 모듈(122)은, 알파맵 블록 행렬 생성 서브 모듈(122a), BBP 매칭 서브 모듈(122b) 및 BBP 히스토그램 생성 서브 모듈(122c)를 포함하여 구성된다.
구체적으로, 상기 BBP 히스토그램 생성 모듈은(122)은, 상기 후처리 알파맵을 대상으로 하여, 사람의 피부로부터 추출된 피부 픽셀들이, 피부색상과 유사함으로 인해 피부 영역으로 오인된 배경 영역의 피부 색상 픽셀들과 차별되는 영상 평면에서의 분포 특성을 추출하는 기능을 수행한다.
또한, 상기 후처리 알파맵을 소정의 개수로 형성되는 행렬인 영상 블록으로 분할하고, 분할된 영상 블록에서 차지하는 피부 픽셀의 비율을 기반으로 상기 분할된 영상 블록 각각을 피부 영상 블록 또는 비피부 영상블록으로 분류하는 알파맵 블록 행렬 생성 서브 모듈(122a), 상기 알파맵 블록 행렬에서 피부 영상 블록을 중심으로 하여 주변 영상 블록들에서 상기 피부 영상 블록의 분포 형태를 BBP 블록 회전변환 및 BBP 배치방향 역전 변환을 통하여 중복되지 않는 51개의 BBP 패턴으로 표현하는 BBP 매칭 서브 모듈(122b) 및 상기 BBP 매칭 서브 모듈(122b)을 통하여 표현된 BBP의 개수를 검출하여 BBP 히스토그램을 생성하는 BBP 히스토그램 생성 서브 모듈(122c)을 포함하여 구성된다.
즉, 알파맵 블록 행렬 생성 서브 모듈(122a)은 피부 픽셀 알파맵 영상을 가로, 세로 M X N 개의 영상 블록으로 분할하고(실시예에서는 20 X20) 각각의 영상 블록 안에서 피부 픽셀이 일정 비율(실시예에서는 0.7) 이상이면, 해당 영상 블록을 피부 영상 블록으로 간주하고, 그 비율 이하이면 해당 영상 블록을 비피부 영상 블록으로 간주한다. 그리고, 피부 픽셀 알파맵에서 피부 픽셀들의 대략적인 분포 형태를 표현하는 M X N 행렬을 생성하며, 상기 행렬 안의 각 원소는 피부 픽셀 알파맵에서 해당 영상 블록의 피부 영상 블록 여부를 표현하게 된다.(실시예에서 피부 영상 블록은 1, 비피부 영상 블록은 0으로 지정한다)
또한, 상기 BBP 매칭 서브 모듈(122b)에서는 각 피부 영상 블록을 중심으로 주변 영상 블록들에서 피부 영상 블록 분포 형태를 본 발명에서 새롭게 제안하는 BBP(Block Binary Pattern) 방식으로 표현한다.
상기 BBP 매칭 서브 모듈(122b)를 설명하기에 앞서 도면을 참조하여 BBP의 개념과 구성을 먼저 설명하도록 한다.
도 16은 BBP 배치방향 역전 변환을 설명하기 위한 도면이다. 도 17은 BBP 블록 회전변환 및 BBP 배치방향 역전 변환의 불변속성을 설명하기 위한 도면이다. 도 18은 동일하지 않은 것으로 간주되는 LBP 샘플을 설명하기 위한 도면이다. 도 19 내지 도 21은 본 발명에서 제안하는 51개의 BBP 패턴을 설명하기 위한 도면이다.
상기 BBP는 입력 영상이 사람의 노출된 피부를 많이 포함하는 유해 영상일 때, 추출된 피부 픽셀의 밀집도 특성을 통계적으로 표현하려는 목적을 가지며, 본 발명에서는 도 19 내지 도 21에서와 같이 51개의 3 X 3 행렬 패턴으로 구성된다. 현재 고려하는 영상 블록이 피부 영상 블록인 경우에만 BBP 매칭을 수행하므로 2행 2열 원소는 항상 1로 가정하고, BBP 매칭에서는 고려하지 않게 된다. 즉, 상기 2행 2열의 원소를 제외한 주변의 8개의 원소만을 고려하게 되는 것이다.
도 19 내지 도 21에 도시된 바와 같이, 원소 값이 1인 경우에는 원으로 표시하였고, 원소 값이 0인 경우에는 빈 박스로 표현하였다.
BBP 의 개념을 정의 할 때, 필요한 두가지 변환으로는, BBP 블록 회전 변환과, BBP 배치 방향 역전 변환이 존재한다.
구체적으로, 상기 BBP 블록 회전 변환은 3 X 3 행렬을 시계방향 또는 반시계 방향으로 90도 회전하는 변환을 의미한다. 또한, 상기 BBP 배치 방향 역전 변환은, 도 16에 도시된 바와 같이 8개의 주변 원소의 배치 위치를 시계방향으로부터 반시계 방향으로 뒤집는 변환을 의미한다.
BBP는 기본적으로 위에서 설명한 상기 BBP 블록 회전 변환과 상기 BBP 배치 방향 역전 변환에 대한 불변속성(Invariant property)를 갖는다. 즉, 도 17에 도시된 바와 같이, 각 패턴들에서 원으로 표시된 위치는 모두 서로 상이하지만 BBP 매칭을 할 때에는 모두 동일 패턴으로 간주되는 것이다.
이와는 대조적으로, 도 18에 도시된 두 패턴은 서로 동일하지 않는 것으로 간주된다. 만약, ULBP(Uniform Local Binary Pattern)과 같이 모든 회전에 대한 불변속성을 가정하고 주변 블록 상의 위치를 중심으로부터 거리가 일정하다고 가정하는 경우라면, 도 18에 도시된 두 패턴이 45도 회전시 얻어지는 동일한 패턴으로 간주될 수 있을 것이다.
다만 원호가 아닌 사각 블록 위치에서는 주변 블록이 상, 하, 좌, 우 위치에 있을 경우 네 모서리 위치에 있을 경우 중심으로부터의 거리 비율이 1: 21/ 2 의 차이를 갖기 때문에 동일하게 간주될 수 없으며, 이러한 블록 패턴의 특성을 반영하기 위해서는 불변속성을 갖는 회전변화를 90도 회전변환으로 제한하여야 하는 것이다.
이러한 불변속성을 사용하지 않는다면 각각의 피부 영상블록에서 주변의 피부 영상블록 분포를 표현하는 패턴은 28 즉, 256개의 패턴이 될 것이다. 앞서 설명한 상기 알파맵 블록 행렬 생성 서브 모듈(122a)의 영상 분할 실시예와 같이 피부픽셀 알파맵 영상을 20X20 영상블록으로 분할한다면 피부 영상블록은 최대 400개 이하일 것이며 밀집도의 통계적 특성을 파악하기 위한 히스토그램을 생성할 때 256개의 저장소(bin) 개수는 과도하게 많은 양이 될 것이다.
이러한 문제를 해결하면서 피부픽셀의 밀집도 특성을 표현하기 위해 위의 두 변환에 대한 불변속성을 정의하였으며 결과적으로 256개의 패턴을 51개로 줄였다. 본 발명에서 제안한 51개 BBP는 상기 BBP 블록 회전변환 및 상기 BBBP 배치방향 역전변환을 통해 중복될 수 없는 속성을 갖는 것에 특징이 있다.
상기 BBP 매칭 서브 모듈(122b)은 앞서 생성한 알파맵 블록 행렬에서 원소가 1인 경우 주변 8개 원소를 포함하는 3X3 행렬을 추출하여 해당하는 BBP를 찾는다.
이 경우 BBP 블록 회전 변환, BBP 배치 방향 역전 변환의 불변속성을 포함하기 위해 각 BBP에 대하여 상기 도 17에 도시된 변환된 행렬까지 고려하여 최대 8회의 매칭을 수행하게 된다. 또한, 상기 BBP 히스토그램 생성 서브 모듈(122C)는, 현재의 알파맵 블록 행렬에서의 BBP 매칭 결과 각 BBP의 검출 개수를 계산하여 히스토그램을 생성하는 기능을 수행한다.
또한, 상기 2차 필터링부(120)에 의한 2차 필터링 단계의 마지막 모듈인 상기 BBP 기반 2차 필터링 모듈(123)은, 앞서 생성한 BBP 히스토그램을 공간차수(dimension)가 51인 특징벡터로 간주하고, 학습 데이터의 유해 영상군, 무해 영상군으로부터 획득한 사전지식과 비교하여 현재 입력영상의 유해 가능성을 판단하여 무해 프레임을 필터링한다.
특징벡터로부터 유해 가능성을 판별하는 과정은 K-means clustering 또는 서포트 벡터 머신(SVM;Support Vector Machine)과 같은 기술을 이용하여 구현 가능하며 실시예에서는 K-means clustering을 사용하였다.
상기 BBP 기반 2차 필터링 모듈(123)에서는 입력 영상이 무해 영상이면서 피부색상과 유사한 픽셀을 다량 포함하여, 상기 1차 필터링부(110)에 의한 1차 필터링 단계에서 유해 후보 영상으로 오인된 경우 검출된 피부픽셀의 영상평면에서 분포 특성을 이용하여 다시 2차로 필터링하는 효과를 얻으며 최종적으로 유해 후보 영상으로 판별된 영상들을 해당 프레임 정보를 후단의 유무해 판별블록으로 전달하여 유무해 여부를 더욱 정밀하게 결정한다.
이하, 본 발명에 따른 무해 프레임을 필터링하는 방법에 대하여 설명하도록 한다. 상기 설명한 바와 같이, 본 발명에 따른 무해 프레임 필터(100) 및 본 발명에 따른 유해 영상 차단 장치(1000)와 중복되는 기술 내용에 대한 설명은 생략하도록 한다.
도 22는 본 발명에 따른 무해 프레임을 필터링하는 방법의 흐름도이다.
도 23 및 도 24는 본 발명에 따른 무해 프레임을 필터링하는 방법의 실시예를 설명하기 위한 도면이다.
도 22를 참조하여 설명하면, 본 발명에 따른 무해 프레임을 필터링하는 방법은, 1차 필터링부에 의하여, 입력 영상을 대상으로 피부 영역 후보 픽셀을 추출하고, 상기 입력 영상에 대한 상기 피부 영역 후보 픽셀의 비율을 기반으로 무해 프레임을 1차적으로 필터링하는 1차 필터링 단계(S100)이 진행된다.
상기 1차 필터링 단계(S100) 이후에는, 2차 필터링부에 의하여, 상기 피부 영역 후보 픽셀을 대상으로 2차원 영상 공간에서의 분포 특성을 표현하는 BBP(Block Binary Patter) 히스토그램을 생성하고, 기정해진 학습 데이터와 상기 히스토그램을 비교함으로써 무해 프레임을 2차적으로 필터링하는 2차 필터링 단계(S110)가 진행된다.
도 23을 참조하여 본 발명에 따른 무해 프레임을 필터링하는 방법의 실시예를 설명하면, 본 발명에 따른 무해 프레임을 필터링하는 방법은, 피부 픽셀 추출 단계(S200), 피부 픽셀 기반 1차 필터링 단계(S210), 피부 영역 후처리 단계(S220), BBP 히스토그램 생성 단계(S230) 및 BBP 기반 2차 필터링 단계가 진행된다.
보다 구체적으로, 상기 피부 픽셀 추출 단계(S200)에서는 피부 픽셀 추출 모듈에 의하여, 입력 영상의 픽셀에서의 RGB 색상 정보를 HSV 색공간으로 변환하여 Hue 히스토그램을 생성하고, 상기 Hue 히스토그램의 기정해진 색상(H;Hue) 채널에서 밀도 합이 최대가 되는 최대 밀도 영역을 피부 영역 후보 픽셀의 범위로 결정하게 된다.
또한, 상기 피부 픽셀 기반 1차 필터링 단계(S210)에서는, 피부 픽셀 기반 2차 필터링 모듈에 의하여, 상기 최대 밀도 영역의 최대 밀도 합이, 기정해진 제 1 설정 값 이하인 경우에는, 상기 입력 영상을 무해 영상으로 판단하고, 상기 제 1 설정 값을 초과하는 경우에는, 상기 입력 영상을 유해 후보 영상으로 판단하여 상기 피부 영역 후보 픽셀로부터 이진화된 알파맵을 생성하게 된다.
또한, 상기 피부 영역 후처리 단계(S220)에서는, 피부 영역 후처리 모듈에 의하여, 상기 알파맵에 대하여 후처리 과정을 수행하여 잡음 효과가 보정된 후처리 알파맵을 생성하게 된다.
또한, 상기 BBP 히스토그램 생성 단계(S230)에서는, BBP 히스토그램 생성 모듈에 의하여, 상기 후처리 알파맵을 대상으로 하여, 사람의 피부로부터 추출된 피부 픽셀들이, 피부색상과 유사함으로 인해 피부 영역으로 오인된 배경 영역의 피부 색상 픽셀들과 차별되는 영상 평면에서의 분포 특성을 추출한다.
또한, 상기 BBP 기반 2차 필터링 단계(S240)에서는, BBP 기반 2차 필터링 모듈에 의하여, 상기 BBP 히스토그램을 공간 차수(dimension)가 51인 특징벡터로 지정하여, K 평균 군집화 기법(K means clustering) 또는 서포트 벡터 머신(SVM;Support Vector Machine)을 기반으로 상기 기정해진 학습 데이터와 비교함으로써 무해 프레임을 2차적으로 필터링하게 된다.
도 24를 참조하여, 본 발명에 따른 무해 프레임을 필터링하는 방법은, 상기 2차 필터링 단계(S110) 단계 이후에, 유해성 판단부에 의하여, 상기 2차 필터링 단계(S110)에서 필터링하여 획득한 필터링 입력 영상을 대상으로 하여, 유해 콘텐츠 사전 지식 DB(Data Base)에 저장된 학습 데이터를 기반으로 상기 필터링 입력 영상이 유해 영상인지 여부를 판단하는 유해성 판단 단계(S120)가 진행될 수 있다.
또한, 상기 유해성 판단 단계(S120) 이후에는, 유해 영상 차단부에 의하여, 상기 유해성 판단 단계(S120)에서 판단된 유해 영상인지 여부에 대한 결과를 시간축 상에서 누적하여 종합하며, 현재 재생되는 영상이 유해 영상인지를 최종적으로 판단하여 유해 영상으로 판단되는 경우, 상기 현재 재생되는 영상을 차단하는 유해 영상 차단 단계(S130를 더 포함 할 수 있다.
상기 살펴본 바와 같이, 본 발명에 따른 무해 프레임 필터 및 이를 포함하는 유해 영상 차단 장치, 무해 프레임을 필터링하는 방법에 의하면, 입력되는 다수의 프레임 영상 중 무해성이 뚜렷한 영상을 고속으로 판별 후 미리 배제하고 유해 가능성이 높은 영상만을 선별함으로써, 추후에 정밀하게 진행될 유해성 판단의 속도를 향상시키고 메모리의 부담을 경감시키는 효과를 창출할 수 있는 장점이 있다.
이상에서와 같이 본 발명에 따른 무해 프레임 필터 및 이를 포함하는 유해 영상 차단 장치, 무해 프레임을 필터링하는 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
1000: 유해 영상 차단 장치
100: 무해 프레임 필터 200: 유해성 판단부
300: 유해 영상 차단부 10: 영상 매체
11: 로컬 스토리지 12: 스트리밍 서비스
30: 유해 콘텐츠 사전지식 DB
110: 1차 필터링부 120: 2차 필터링부
111: 피부 픽셀 추출 모듈 112: 피부 픽셀 기반 1차 필터링 모듈
121: 피부 영역 후처리 모듈 122: BBP 히스토그램 생성 모듈
123: BBP 기반 2차 필터링 모듈
121a: 에지 영상 생성 서브 모듈 121b: 에지합 영상 생성 서브 모듈
121c: 에지 밀도 영상 생성 서브 모듈
121d: 알파맵 필터링 서브 모듈 121e: 모포로지 연산 서브 모듈
122a: 알파맵 블록 행렬 생성 서브 모듈
122b: BBP 매칭 서브 모듈 122c: BBP 히스토그램 생성 서브 모듈

Claims (20)

  1. 입력 영상을 대상으로 피부 영역 후보 픽셀을 추출하고, 상기 입력 영상에 대한 상기 피부 영역 후보 픽셀의 비율을 기반으로 무해 프레임을 1차적으로 필터링하는 1차 필터링부; 및
    상기 피부 영역 후보 픽셀을 대상으로 2차원 영상 공간에서의 분포 특성을 표현하는 BBP(Block Binary Patter) 히스토그램을 생성하고, 기정해진 학습 데이터와 상기 BBP 히스토그램을 비교함으로써 무해 프레임을 2차적으로 필터링하는 2차 필터링부를 포함하는 것을 특징으로 하는 무해 프레임 필터.
  2. 청구항 1에 있어서,
    상기 1차 필터링부는,
    상기 입력 영상의 픽셀에서의 RGB 색상 정보를 HSV 색공간으로 변환하여 Hue 히스토그램을 생성하고, 상기 Hue 히스토그램의 기정해진 색상(H;Hue) 채널에서 밀도 합이 최대가 되는 최대 밀도 영역을 피부 영역 후보 픽셀의 범위로 결정하는 피부 픽셀 추출 모듈을 포함하는 것을 특징으로 하는 무해 프레임 필터.
  3. 청구항 2에 있어서,
    상기 1 차 필터링부는,
    상기 최대 밀도 영역의 최대 밀도 합이,
    기정해진 제 1 설정 값 이하인 경우에는, 상기 입력 영상을 무해 영상으로 판단하고,
    상기 제 1 설정 값을 초과하는 경우에는, 상기 입력 영상을 유해 후보 영상으로 판단하여 상기 피부 영역 후보 픽셀로부터 이진화된 알파맵을 생성하여 상기 2차 필터링부에 전달하는 피부 픽셀 기반 1차 필터링 모듈을 포함하는 것을 특징으로 하는 무해 프레임 필터.
  4. 청구항 3에 있어서,
    상기 2차 필터링부는,
    상기 알파맵에 대하여 후처리 과정을 수행하여 잡음 효과가 보정된 후처리 알파맵을 생성하는 피부 영역 후처리 모듈을 포함하는 것을 특징으로 하는 무해 프레임 필터.
  5. 청구항 4에 있어서,
    상기 피부 영역 후처리 모듈은,
    컬러(Color) 입력 영상을 흑백 영상으로 변환하고, 에지 연산자를 이용하여 에지 영상을 생성하는 에지 영상 생성 서브 모듈;
    에지 합 영상을 생성하는 에지합 영상 생성 서브 모듈;
    에지 밀도를 생성하는 에지 밀도 영상 생성 서브 모듈;
    상기 알파맵에서 에지 밀도 값이 기정해진 제 2 설정 값 이상인 픽셀들을 배경 영역으로 판단하여 상기 알파맵을 수정하는 알파맵 필터링 서브 모듈; 및
    상기 에지 연산자의 모포로지 닫힘(Closing) 및 열림(Opening) 연산을 순차적으로 적용하여 상기 알파맵의 노이즈를 감소시키는 모포로지 연산 서브 모듈을 포함하는 것을 특징으로 하는 무해 프레임 필터.
  6. 청구항 4에 있어서,
    상기 2차 필터링부는,
    상기 후처리 알파맵을 대상으로 하여, 사람의 피부로부터 추출된 피부 픽셀들이, 피부색상과 유사함으로 인해 피부 영역으로 오인된 배경 영역의 피부 색상 픽셀들과 차별되는 영상 평면에서의 분포 특성을 추출하는 BBP 히스토그램 생성 모듈을 포함하는 것을 특징으로 하는 무해 프레임 필터.
  7. 청구항 6에 있어서,
    상기 BBP 히스토그램 생성 모듈은,
    상기 후처리 알파맵을 소정의 개수로 형성되는 행렬인 영상 블록으로 분할하고, 분할된 영상 블록에서 차지하는 피부 픽셀의 비율을 기반으로 상기 분할된 영상 블록 각각을 피부 영상 블록 또는 비피부 영상블록으로 분류하는 알파맵 블록 행렬 생성 서브 모듈;
    상기 피부 영상 블록을 중심으로 하여 주변 영상 블록들에서 상기 피부 영상 블록의 분포 형태를 BBP 블록 회전변환 및 BBP 배치방향 역전 변환을 통하여 중복되지 않는 51개의 BBP 패턴으로 표현하는 BBP 매칭 서브 모듈; 및
    상기 BBP 매칭 서브 모듈을 통하여 표현된 BBP의 개수를 검출하여 BBP 히스토그램을 생성하는 BBP 히스토그램 생성 서브 모듈을 포함하는 것을 특징으로 하는 무해 프레임 필터.
  8. 청구항 7에 있어서,
    상기 BBP 매칭 서브 모듈은,
    상기 분할된 영상 블록을 갖는 알파맵의 범위 안에서, 2행 2열은 피부 영상 블록인 복수개의 3 X 3 행렬 단위를 대상으로 51개의 BBP 패턴을 표현하는 것을 특징으로 하는 무해 프레임 필터.
  9. 청구항 1에 있어서,
    상기 2차 필터링부는,
    상기 BBP 히스토그램을 공간 차수(dimension)가 51인 특징벡터로 지정하여, K 평균 군집화 기법(K means clustering) 또는 서포트 벡터 머신(SVM;Support Vector Machine)을 기반으로 상기 기정해진 학습 데이터와 비교함으로써 무해 프레임을 2차적으로 필터링하는 BBP 기반 2차 필터링 모듈을 포함하는 것을 특징으로 하는 무해 프레임 필터.
  10. 청구항 1 내지 청구항 9 중 어느 하나에 따른 무해 프레임 필터에 의하여 무해 프레임을 필터링하여 획득한 필터링 입력 영상을 대상으로 하여, 유해 콘텐츠 사전 지식 DB(Data Base)에 저장된 학습 데이터를 기반으로 상기 필터링 입력 영상이 유해 영상인지 여부를 판단하는 유해성 판단부; 및
    상기 유해성 판단부에서 판단된 유해 영상인지 여부에 대한 결과를 시간축 상에서 누적하여 종합하며, 현재 재생되는 영상이 유해 영상인지를 최종적으로 판단하여 유해 영상으로 판단되는 경우, 상기 현재 재생되는 영상을 차단하는 유해 영상 차단부를 포함하는 것을 특징으로 하는 유해 영상 차단 장치.
  11. 1차 필터링부에 의하여, 입력 영상을 대상으로 피부 영역 후보 픽셀을 추출하고, 상기 입력 영상에 대한 상기 피부 영역 후보 픽셀의 비율을 기반으로 무해 프레임을 1차적으로 필터링하는 1차 필터링 단계; 및
    2차 필터링부에 의하여, 상기 피부 영역 후보 픽셀을 대상으로 2차원 영상 공간에서의 분포 특성을 표현하는 BBP(Block Binary Patter) 히스토그램을 생성하고, 기정해진 학습 데이터와 상기 BBP 히스토그램을 비교함으로써 무해 프레임을 2차적으로 필터링하는 2차 필터링 단계를 포함하는 것을 특징으로 하는 무해 프레임을 필터링하는 방법.
  12. 청구항 11에 있어서,
    상기 1차 필터링 단계는,
    상기 입력 영상의 픽셀에서의 RGB 색상 정보를 HSV 색공간으로 변환하여 Hue 히스토그램을 생성하고, 상기 Hue 히스토그램의 기정해진 색상(H;Hue) 채널에서 밀도 합이 최대가 되는 최대 밀도 영역을 피부 영역 후보 픽셀의 범위로 결정하는 피부 픽셀 추출 단계를 포함하는 것을 특징으로 하는 무해 프레임을 필터링 하는 방법.
  13. 청구항 12에 있어서,
    상기 1 차 필터링 단계는,
    상기 피부 픽셀 추출 단계 이후에,
    상기 최대 밀도 영역의 최대 밀도 합이, 기정해진 제 1 설정 값 이하인 경우에는, 상기 입력 영상을 무해 영상으로 판단하고, 상기 제 1 설정 값을 초과하는 경우에는, 상기 입력 영상을 유해 후보 영상으로 판단하여 상기 피부 영역 후보 픽셀로부터 이진화된 알파맵을 생성하는 피부 픽셀 기반 1차 필터링 단계를 포함하는 것을 특징으로 하는 무해 프레임을 필터링하는 방법.
  14. 청구항 13에 있어서,
    상기 2차 필터링 단계는,
    상기 피부 픽셀 기반 1차 필터링 단계에서 생성된 알파맵에 대하여 후처리 과정을 수행하여 잡음 효과가 보정된 후처리 알파맵을 생성하는 피부 영역 후처리 단계를 포함하는 것을 특징으로 하는 무해 프레임을 필터링하는 방법.
  15. 청구항 14에 있어서,
    상기 피부 영역 후처리 단계는,
    컬러(Color) 입력 영상을 흑백 영상으로 변환하고, 에지 연산자를 이용하여 에지 영상을 생성하는 에지 영상 생성 서브 단계;
    에지 합 영상을 생성하는 에지합 영상 생성 서브 단계;
    에지 밀도를 생성하는 에지 밀도 영상 생성 서브 단계;
    상기 알파맵에서 에지 밀도 값이 기정해진 제 2 설정 값 이상인 픽셀들을 배경 영역으로 판단하여 상기 알파맵을 수정하는 알파맵 필터링 서브 단계; 및
    상기 에지 연산자의 모포로지 닫힘(Closing) 및 열림(Opening) 연산을 순차적으로 적용하여 상기 알파맵의 노이즈를 감소시키는 모포로지 연산 서브 단계를 포함하는 것을 특징으로 하는 무해 프레임을 필터링하는 방법.
  16. 청구항 14에 있어서,
    상기 2차 필터링 단계는,
    상기 피부 영역 후처리 단계 이후에,
    상기 후처리 알파맵을 대상으로 하여, 사람의 피부로부터 추출된 피부 픽셀들이, 피부색상과 유사함으로 인해 피부 영역으로 오인된 배경 영역의 피부 색상 픽셀들과 차별되는 영상 평면에서의 분포 특성을 추출하는 BBP 히스토그램 생성 단계를 포함하는 것을 특징으로 하는 무해 프레임을 필터링하는 방법.
  17. 청구항 16에 있어서,
    상기 BBP 히스토그램 생성 단계는,
    상기 후처리 알파맵을 소정의 개수로 형성되는 행렬인 영상 블록으로 분할하고, 분할된 영상 블록에서 차지하는 피부 픽셀의 비율을 기반으로 상기 분할된 영상 블록 각각을 피부 영상 블록 또는 비피부 영상블록으로 분류하는 알파맵 블록 행렬 생성 서브 단계;
    상기 피부 영상 블록을 중심으로 하여 주변 영상 블록들에서 상기 피부 영상 블록의 분포 형태를 BBP 블록 회전변환 및 BBP 배치방향 역전 변환을 통하여 중복되지 않는 51개의 BBP 패턴으로 표현하는 BBP 매칭 서브 단계; 및
    상기 BBP 매칭 서브 단계에서 표현된 BBP의 개수를 검출하여 BBP 히스토그램을 생성하는 BBP 히스토그램 생성 서브 단계를 포함하는 것을 특징으로 하는 무해 프레임을 필터링하는 방법.
  18. 청구항 17에 있어서,
    상기 BBP 매칭 서브 단계는,
    상기 분할된 영상 블록을 갖는 알파맵의 범위 안에서, 2행 2열은 피부 영상 블록인 복수개의 3 X 3 행렬 단위를 대상으로 51개의 BBP 패턴을 표현하는 것을 특징으로 하는 무해 프레임을 필터링하는 방법.
  19. 청구항 11에 있어서,
    상기 2차 필터링 단계는,
    상기 BBP 히스토그램 생성 단계 이후에,
    상기 BBP 히스토그램을 공간 차수(dimension)가 51인 특징벡터로 지정하여, K 평균 군집화 기법(K means clustering) 또는 서포트 벡터 머신(SVM;Support Vector Machine)을 기반으로 상기 기정해진 학습 데이터와 비교함으로써 무해 프레임을 2차적으로 필터링하는 BBP 기반 2차 필터링 단계를 포함하는 것을 특징으로 하는 무해 프레임을 필터링하는 방법.
  20. 청구항 11에 있어서,
    상기 2차 필터링 단계 이후에,
    상기 2차 필터링 단계에서 필터링하여 획득한 필터링 입력 영상을 대상으로 하여, 유해 콘텐츠 사전 지식 DB(Data Base)에 저장된 학습 데이터를 기반으로 상기 필터링 입력 영상이 유해 영상인지 여부를 판단하는 유해성 판단 단계; 및
    상기 유해성 판단 단계에서 판단된 유해 영상인지 여부에 대한 결과를 시간축 상에서 누적하여 종합하며, 현재 재생되는 영상이 유해 영상인지를 최종적으로 판단하여 유해 영상으로 판단되는 경우, 상기 현재 재생되는 영상을 차단하는 유해 영상 차단 단계를 더 포함하는 것을 특징으로 하는 무해 프레임을 필터링하는 방법.
KR1020140013042A 2014-02-05 2014-02-05 무해 프레임 필터 및 이를 포함하는 유해 영상 차단 장치, 무해 프레임을 필터링하는 방법 KR20150092546A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140013042A KR20150092546A (ko) 2014-02-05 2014-02-05 무해 프레임 필터 및 이를 포함하는 유해 영상 차단 장치, 무해 프레임을 필터링하는 방법
US14/529,120 US20150221097A1 (en) 2014-02-05 2014-10-30 Harmless frame filter, harmful image blocking apparatus having the same, and method for filtering harmless frames

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140013042A KR20150092546A (ko) 2014-02-05 2014-02-05 무해 프레임 필터 및 이를 포함하는 유해 영상 차단 장치, 무해 프레임을 필터링하는 방법

Publications (1)

Publication Number Publication Date
KR20150092546A true KR20150092546A (ko) 2015-08-13

Family

ID=53755269

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140013042A KR20150092546A (ko) 2014-02-05 2014-02-05 무해 프레임 필터 및 이를 포함하는 유해 영상 차단 장치, 무해 프레임을 필터링하는 방법

Country Status (2)

Country Link
US (1) US20150221097A1 (ko)
KR (1) KR20150092546A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106952239A (zh) * 2017-03-28 2017-07-14 厦门幻世网络科技有限公司 图像生成方法和装置
KR102119136B1 (ko) * 2018-12-26 2020-06-05 인천대학교 산학협력단 지능형 이미지 분류 방법
KR20210133411A (ko) * 2020-04-29 2021-11-08 한국전자통신연구원 스마트 기기에서의 유해 스트리밍 영상 검출 방법, 스마트 기기 및 기계 학습 단말
KR20230068207A (ko) * 2021-11-10 2023-05-17 광운대학교 산학협력단 모바일 단말에서 유해 동영상 차단을 위한 단말 자원 기반의 적응적 프레임 추출 및 스트리밍 제어 시스템 및 방법

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9805662B2 (en) * 2015-03-23 2017-10-31 Intel Corporation Content adaptive backlight power saving technology
US9824313B2 (en) 2015-05-01 2017-11-21 Flipboard, Inc. Filtering content in an online system based on text and image signals extracted from the content
CN106557527A (zh) * 2015-09-30 2017-04-05 中兴通讯股份有限公司 一种色情图像检测和系统
US9967266B2 (en) * 2015-11-09 2018-05-08 Flipboard, Inc. Pre-filtering digital content in a digital content system
US10349126B2 (en) 2016-12-19 2019-07-09 Samsung Electronics Co., Ltd. Method and apparatus for filtering video
US10922878B2 (en) * 2017-10-04 2021-02-16 Google Llc Lighting for inserted content
CN112950453B (zh) * 2021-01-25 2023-10-20 北京达佳互联信息技术有限公司 图像处理方法和图像处理装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6895111B1 (en) * 2000-05-26 2005-05-17 Kidsmart, L.L.C. Evaluating graphic image files for objectionable content
US6751348B2 (en) * 2001-03-29 2004-06-15 Fotonation Holdings, Llc Automated detection of pornographic images
KR100799557B1 (ko) * 2005-10-27 2008-01-31 한국전자통신연구원 동영상의 비주얼 특징을 이용한 유해 동영상 판별함수 생성및 판별 방법 그리고 그 장치
US7583839B2 (en) * 2005-10-31 2009-09-01 Yahoo! Inc. Method and mechanism for analyzing the texture of a digital image
US20080159624A1 (en) * 2006-12-27 2008-07-03 Yahoo! Inc. Texture-based pornography detection
US20080159627A1 (en) * 2006-12-27 2008-07-03 Yahoo! Inc. Part-based pornography detection
US7751620B1 (en) * 2007-01-25 2010-07-06 Bitdefender IPR Management Ltd. Image spam filtering systems and methods
US8358837B2 (en) * 2008-05-01 2013-01-22 Yahoo! Inc. Apparatus and methods for detecting adult videos
CN101359372B (zh) * 2008-09-26 2011-05-11 腾讯科技（深圳）有限公司 分类器的训练方法及装置、识别敏感图片的方法及装置
KR101435778B1 (ko) * 2011-03-16 2014-08-29 한국전자통신연구원 비디오 기반 시각적 특징과 다단계 통계적 결합을 이용한 유해 동영상 분류 방법 및 장치
US20130085893A1 (en) * 2011-09-30 2013-04-04 Ebay Inc. Acquisition and use of query images with image feature data
US9355406B2 (en) * 2013-07-18 2016-05-31 GumGum, Inc. Systems and methods for determining image safety
KR20150051711A (ko) * 2013-11-05 2015-05-13 한국전자통신연구원 유해 콘텐츠 영상 차단을 위한 피부 영역 추출 장치 및 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106952239A (zh) * 2017-03-28 2017-07-14 厦门幻世网络科技有限公司 图像生成方法和装置
KR102119136B1 (ko) * 2018-12-26 2020-06-05 인천대학교 산학협력단 지능형 이미지 분류 방법
KR20210133411A (ko) * 2020-04-29 2021-11-08 한국전자통신연구원 스마트 기기에서의 유해 스트리밍 영상 검출 방법, 스마트 기기 및 기계 학습 단말
KR20230068207A (ko) * 2021-11-10 2023-05-17 광운대학교 산학협력단 모바일 단말에서 유해 동영상 차단을 위한 단말 자원 기반의 적응적 프레임 추출 및 스트리밍 제어 시스템 및 방법

Also Published As

Publication number Publication date
US20150221097A1 (en) 2015-08-06

Similar Documents

Publication Publication Date Title
KR20150092546A (ko) 무해 프레임 필터 및 이를 포함하는 유해 영상 차단 장치, 무해 프레임을 필터링하는 방법
US10896349B2 (en) Text detection method and apparatus, and storage medium
CN109697416B (zh) 一种视频数据处理方法和相关装置
CN110298297B (zh) 火焰识别方法和装置
Platzer et al. Skin sheriff: a machine learning solution for detecting explicit images
US20080193020A1 (en) Method for Facial Features Detection
EP3203417B1 (en) Method for detecting texts included in an image and apparatus using the same
CN107122777A (zh) 一种基于视频文件的车辆分析系统及分析方法
KR20100099005A (ko) 히스토그램 분석을 이용한 영상 분류 방법 및 장치, 이를 이용한 문자 인식 방법 및 장치
US20120057791A1 (en) Information processing apparatus and control method thereof
US11836958B2 (en) Automatically detecting and isolating objects in images
CN111160110A (zh) 基于人脸特征和声纹特征识别主播的方法及装置
CN112686248B (zh) 证件增减类别检测方法、装置、可读存储介质和终端
CN111178146A (zh) 基于人脸特征识别主播的方法及装置
CN112749696B (zh) 一种文本检测方法及装置
CN110689003A (zh) 低照度成像车牌识别方法、系统、计算机设备及存储介质
CN114331946A (zh) 一种图像数据处理方法、设备以及介质
CN102521610B (zh) 图片过滤方法和装置
KR101571681B1 (ko) 동질 영역을 이용한 문서 구조의 분석 방법
KR101672814B1 (ko) 랜덤 포레스트를 이용한 성별인식 방법
Yusuf et al. Human face detection using skin color segmentation and watershed algorithm
CN107704864B (zh) 基于图像对象性语义检测的显著目标检测方法
US11113537B2 (en) Image detection using multiple detection processes
Hwang et al. Luminance adapted skin color modeling for the robust detection of skin areas
Sarkar et al. Universal skin detection without color information

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid