KR101003504B1 - 유해 멀티미디어 판별시스템 및 그 판별방법 - Google Patents

유해 멀티미디어 판별시스템 및 그 판별방법 Download PDF

Info

Publication number
KR101003504B1
KR101003504B1 KR1020080093807A KR20080093807A KR101003504B1 KR 101003504 B1 KR101003504 B1 KR 101003504B1 KR 1020080093807 A KR1020080093807 A KR 1020080093807A KR 20080093807 A KR20080093807 A KR 20080093807A KR 101003504 B1 KR101003504 B1 KR 101003504B1
Authority
KR
South Korea
Prior art keywords
harmful
class
multimedia
harmless
skin ratio
Prior art date
Application number
KR1020080093807A
Other languages
English (en)
Other versions
KR20100034589A (ko
Inventor
최병철
한승완
정치윤
임재덕
박소희
김정녀
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020080093807A priority Critical patent/KR101003504B1/ko
Publication of KR20100034589A publication Critical patent/KR20100034589A/ko
Application granted granted Critical
Publication of KR101003504B1 publication Critical patent/KR101003504B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은, 유해 멀티미디어 판별시스템 및 그 판별방법에 관한 것으로서, 본 유해 멀티미디어 판별시스템은, 유해, 무해, 얼굴의 세 클래스로 분류된 다수의 학습 샘플용 이미지를 학습하여, 각 클래스에 속하는 이미지들의 특징을 추출하고, 추출된 각 특징을 이용하여 멀티미디어 데이터를 분류하기 위한 분류기준을 생성하는 학습부와, 학습부에서 생성된 분류기준을 이용하여 판별대상 멀티미디어 데이터를 유해 클래스, 무해 클래스, 얼굴 클래스 중 하나로 분류하는 제1필터링부와, 제1필터링부에 의해 분류된 클래스와, 멀티미디어 데이터에서 피부색이 차지하는 비율인 스킨 비율(skin Ratio)에 따라, 멀티미디어 데이터의 유해 여부를 판별하는 제2필터링부를 포함한다. 이에 의해, 유해 멀티미디어의 감지 확률이 향상되었을 뿐만 아니라, 클로즈업된 얼굴과 같이 스킨 비율이 높은 멀티미디어의 경우에도 정확한 유해 판별이 가능하므로, 유해 멀티미디어로부터 어린이나 청소년을 보다 확실하게 보호할 수 있다.
유해, 무해, 얼굴, 클래스, 내용기반, 학습기반, SVM, SCM, MPEG-7, 이미지, 동영상, 멀티미디어

Description

유해 멀티미디어 판별시스템 및 그 판별방법{System and Method for Detecting Objectionable Multimedia}
본 발명은 유해 멀티미디어 판별시스템 및 그 판별방법에 관한 것으로서, 보다 상세하게는, 학습모델과 스킨 비율을 이용하여 멀티미디어를 2단계에 걸쳐 분석함으로써, 보다 정확하게 유해 멀티미디어를 분류할 수 있도록 하는 유해 멀티미디어 판별시스템 및 그 판별방법에 관한 것이다.
본 발명은 정보통신부 및 정보통신연구진흥원의 IT성장동력기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2007-S-016-02, 과제명: 저비용 대규모 글로벌 인터넷 서비스 솔루션 개발].
90년대 인터넷이 등장한 이후로, 인터넷, 멀티미디어, P2P, 메신저 기술의 발달로 인해, 정보의 공유가 손쉽게 이루어지고 있다. 특히, 최근 웹 2.0을 기반으로 하는 인터넷 시대가 도래하면서, UCC와 같은 다양한 유저 중심 어플리케이션 서비스들이 등장하였고, 이를 통해, 유저들은 성인용 멀티미디어가 포함된 멀티미디어를 쉽게 작성하고 배포할 수 있게 되었다. 이에 따라, 불법적이고 유해한 멀티미디어들이 범람하게 되었고, 어린이나 청소년들을 유해한 멀티미디어로부터 보 호하기 위해, 유해한 멀티미디어를 분석하여 차단할 필요성이 증가하게 되었다.
일반적으로 유해한 멀티미디어를 분류하는 방법으로는 학습모델을 이용하여 무해/유해를 분류하는 방법과, 스킨 컬러 모델(SCM: Skin Color Model) 등을 이용한 방법이 주로 사용되고 있다.
학습모델을 이용한 방법은, 미리 유해/무해로 분류된 학습 샘플을 이용하여 학습하여 특징을 추출하고, 이러한 특징을 이용하여 멀티미디어를 분석하여 유해/무해를 판단한다. 이 방법은 비교적 높은 정확성을 갖고 있으나, 멀티미디어를 유해와 무해의 두 가지로만 판단하기 때문에 경계에 위치하는 멀티미디어에 대해서는 오판의 확률이 높다는 단점이 있다.
한편, 스킨 컬러 모델을 이용한 방법은, 스킨 비율에 따라 유해/무해로 멀티미디어를 분류하기 때문에 효과적이고 간단하다. 이러한 이유로 성인용 멀티미디어를 감지하기 위해 자주 사용되지만, 클로즈업되는 얼굴 이미지의 경우에는 유해 이미지가 아닌데도 불구하고, 스킨 비율이 높다는 이유만으로 성인용 멀티미디어로 판단하는 단점이 있다.
본 발명의 목적은, 클로즈업된 얼굴이 스킨 비율이 높다는 이유로 유해 멀티미디어로 분류되는 것을 방지하고, 다양한 클래스로 멀티미디어를 분류함으로써, 유해 멀티미디어의 분류를 보다 정확하게 수행할 수 있도록 하는 유해 멀티미디어 판별시스템 및 그 판별방법을 제공하는 것이다.
상기 목적에 따른 본 발명은, 유해 클래스, 무해 클래스 그리고 얼굴 클래스의 세 클래스로 분류된 다수의 학습 샘플용 이미지를 학습하여, 각 클래스에 속하는 상기 학습 샘플용 이미지로부터 추출되는 특징에 대응하여 분류기준을 생성하는 학습부; 이미지 또는 동영상을 포함하는 멀티미디어 데이터를 상기 분류기준에 따라, 상기 유해 클래스, 상기 무해 클래스 및 상기 얼굴 클래스 중 어느 하나의 클래스로 분류하는 제1필터링부; 및 상기 이미지에서 피부색이 차지하는 비율인 스킨비율(skin Ratio) 또는 상기 동영상에 포함된 복수의 이미지 각각에 대한 스킨비율(skin Ratio)과, 상기 제1필터링부에 의해 분류된 클래스에 대응하여 상기 멀티미디어 데이터가 유해한지 여부를 판별하는 제2필터링부를 포함한다.
상기 목적에 따른 본 발명은, 유해 클래스, 무해 클래스 그리고 얼굴 클래스의 세 클래스로 분류된 다수의 학습 샘플용 이미지로부터 추출된 각 클래스의 특징에 따라 분류기준을 생성하는 단계; 상기 분류기준을 이용하여, 이미지 또는 동영상을 포함하는 멀티미디어 데이터를 상기 유해 클래스, 상기 무해 클래스 및 상기 얼굴 클래스 중 어느 하나로 분류하는 분류단계; 상기 이미지에서 피부색이 차지하는 비율인 스킨비율(Skin Ratio) 또는 상기 동영상에 포함된 복수의 이미지 각각에 대한 스킨비율을 측정하는 단계; 및 상기 분류단계에서 분류된 클래스와, 상기 스킨 비율에 대응하여, 상기 멀티미디어 데이터가 유해한지 여부를 판별하는 판별단계를 포함한다.
본 유해 멀티미디어 판별시스템에서는, SVM(Support Vector Machine)과 같은 기계 학습방법을 이용하여 1차적으로 멀티미디어를 유해 클래스, 무해 클래스, 얼굴 클래스로 분류하고, 스킨 비율을 이용하여 멀티미디어를 2차적으로 유해 클래스, 무해 클래스로 분류한다. 따라서, 종래에 비해 유해 멀티미디어의 판별 비율이 향상되었을 뿐만 아니라, 클로즈업된 얼굴과 같이 스킨 비율이 높은 멀티미디어의 경우에도 정확한 유해 판별이 가능하다. 이에 따라, 유해 멀티미디어로부터 어린이나 청소년을 보다 확실하게 보호할 수 있다.
이하, 도면을 참조하여 본 발명을 설명한다.
본 유해 멀티미디어 판별시스템은, 멀티미디어를 시각서술자 기반에 의해 학습된 복수의 클래스로 분류하고, 다시 SCM(Skin Color Model)에 의한 스킨 비율을 이용하여 재분류함으로써, 복수의 단계에 걸쳐 유해 멀티미디어를 분류한다.
도 1은 본 발명에 따른 유해 멀티미디어 판별시스템의 구성도이다.
본 유해 멀티미디어 판별시스템은, 학습 데이터베이스(15), 학습부(10), 코 덱부(3), 영상추출부(5), 제1필터링부(20), 제2필터링부(25)를 포함하며, 이미지, 동영상 등의 시각기반 데이터를 포함하는 멀티미디어의 유해 여부를 복수의 단계에 걸쳐 분석한다.
학습 데이터베이스(15)에는, 학습부(10)에서 학습되는 학습 샘플용 이미지가 저장되어 있으며, 학습 샘플용 이미지는 무해 클래스, 얼굴 클래스, 유해 클래스의 세 클래스로 구분되어 저장되어 있다. 학습 샘플용 이미지는 기존의 멀티미디어 판별시스템에 의해 분류된 것일 수도 있고, 시스템의 운영자에 의해 수동으로 분류된 것일 수도 있다. 본 학습 데이터베이스(15)에는 얼굴을 클로즈업하는 화면이 많은 멀티미디어가 유해 클래스로 분류되는 것을 방지하기 위해 무해 클래스와 유해 클래스 이외에 얼굴 클래스가 별도로 분류되어 있다. 이러한 학습 데이터베이스(15)에는, 학습부(10)에서 추출된 각 클래스의 특징 및 분류기준도 저장되어 있다.
학습부(10)는 내용 기반(예: MPEG-7 시각서술자)으로 무해 클래스, 유해 클래스, 얼굴 클래스의 학습 샘플용 이미지들로부터 각 클래스의 특징을 추출하고, 학습 기반(예: SVM(Support Vector Machine))으로 각 클래스의 특징을 이용하여 무해 클래스, 유해 클래스, 얼굴 클래스를 상호 분류하는 분류기준을 생성한다.
즉, 학습부(10)는, 학습 데이터베이스(15)에 저장된 무해 클래스로 분류된 멀티미디어들을 학습하여 내용 기반 (예: MPEG-7 시각서술자)으로 무해한 이미지의 특징을 추출하고, 마찬가지로, 유해 클래스로 분류된 이미지들을 학습하여 유해한 이미지들의 특징으로 추출하고, 얼굴 클래스로 분류된 이미지들을 분석하여 얼굴 이미지들의 특징을 추출한다.
여기서 MPEG-7은 디지털 형태의 시청각 정보에서 정보의 검색이 가능하도록 하는 정보검색의 표준으로서, MPEG-7의 처리과정은 특징추출(Feature Extraction), 기술(Description), 검색엔진(Search Engine)으로 이루어진다. 그리고 영상이나 이미지 등의 특징 추출 및 기술을 위한 시각서술자는, 모양, 질감, 색상 등을 들 수 있다.
이렇게 각 클래스의 특징이 추출되면, 학습부(10)는 이 값들을 학습 기반(예: SVM(Support Vector Machine))으로 추출된 특징값을 해당 클래스(무해/유해/얼굴)로 학습시킨다. SVM은 근래 가장 각광받고 있는 컴퓨터 학습 방식으로서, 서로 다른 두 개의 그룹을 입력시키면 두 그룹을 구분하는 기준을 자동으로 계산해낸다. 본 학습부(10)에서는 유해 클래스, 무해 클래스, 얼굴 클래스의 특징을 입력값으로 하여 SVM을 이용하여 유해 클래스, 무해 클래스, 얼굴 클래스를 분류하는 분류기준을 생성한다. 생성된 분류기준은 학습 데이터베이스(15)에 저장된다.
코덱부(3)는 유무해 판단의 대상인 멀티미디어가 이미지인 경우에는 이미지 코덱 처리를 수행하고, 동영상인 경우에는 동영상을 디코딩한다.
특히, 멀티미디어가 동영상인 경우, 영상추출부(5)는 코덱부에서 디코딩된 동영상에서, 유해 여부를 판단하기 위한 키 프레임을 추출한다. 이때, 키 프레임을 추출하는 이유는, 일반적으로 영화 한 편 길이의 동영상이 18,000 프레임을 포함하므로, 모든 프레임에 대해 유해 여부를 판단할 경우, 시간소모가 너무 크기 때문이다.
영상추출부(5)는 유/무해 판단의 대상인 동영상이 재생중이 아닌 경우에는 정지영상을 미리 설정된 방식에 따라 추출한다. 이때, 동영상 헤드 정보, 예를 들어, 프레임 수, 총 재생시간 등을 이용한 Direct Seeking 방식을 사용할 수 있다. 영상추출부(5)에서 정지영상을 추출하는 방법으로는, 정 간격, 정 개수 추출방식이 있다. 이 방식은, 주어진 동영상에서 일정 시간 간격으로 정지영상을 추출하되, 정지영상의 개수를 미리 정하여 그만큼만 추출하는 방식이다. 다른 방식으로는, 압축 영역에서 샷 추출을 수행한 이후에 추출한 샷에 대해서 화질 검사를 수행하는 방식이다. 후자는 같은 컨텐츠에 대한 장면을 중복 검사하지 않으면서도 모든 장면을 검사할 수 있다는 점에서 더 높은 정확성을 기대할 수 있지만 샷 추출 시간만큼 시간이 더 걸린다는 단점이 있다.
한편, 동영상이 재생중인 경우에는 재생 도중에 정지영상을 1장씩 추출하도록 한다. 이때 추출 간격은 동영상 재생에 영향을 끼치지 않는 수준으로 결정된다. 재생하고 있는 동영상에서 추출한 정지영상이 임계치 이상으로 연속적으로 유해로 판정된다면 동영상 재생기에서 동영상 재생을 중단할 수 있다.
제1필터링부(20)는, 유/무해 판단의 대상인 이미지에 대해 학습부(10)에서 생성된 분류기준을 이용하여 해당 이미지가 유해 클래스, 무해 클래스, 얼굴 클래스 중 어느 클래스에 속하는지를 판단한다. 제1필터링부(20)는, 유/무해 판단의 대상이 동영상인 경우, 영상추출부(5)로부터 추출된 N개의 프레임을 제공받아 해당 프레임들에 대해 각각 유해 클래스, 무해 클래스, 얼굴 클래스 중 어느 곳에 속하는지 여부를 판단한다.
제2필터링부(25)는, 제1필터링부(20)에서 유해 클래스, 무해 클래스, 얼굴 클래스 중 하나로 1차 분류된 각 이미지를 스킨 컬러 모델에 의한 스킨 비율을 이용하여 2차 분류한다. 제2필터링부(25)는 1차 분류된 각 이미지를 유해한지 여부에 따라 무해, 유해를 판단한다. 이때, 제2필터링부(25)에서는 이미지가 제1필터링부(20)에서 분류된 무해 클래스, 유해 클래스, 얼굴 클래스 중 어느 클래스에 속하는지에 따라 상이한 크기의 스킨 비율 임계값을 설정한다.
얼굴 클래스에 속한 이미지를 유해 또는 무해로 구분하기 위한 스킨 비율의 임계값을 제1임계값이라 하고, 무해 클래스에 속한 이미지를 유해 또는 무해로 구분하기 위한 스킨 비율의 임계값을 제2임계값이라 하고, 유해 클래스에 속한 이미지를 유해 또는 무해로 구분하기 위한 스킨 비율의 임계값을 제3임계값이라 하면, 제1임계값, 제2임계값, 제3임계값으로 갈수록 그 값이 작아지도록 설정된다.
제2필터링부(25)는 판별대상 이미지가 얼굴 클래스에 속하는 경우, 이미지의 스킨 비율이 제1임계값 이상이면, 해당 이미지를 유해 이미지로 판별하고, 스킨 비율이 제1임계값 보다 작으면, 무해 이미지로 판별한다.
제2필터링부(25)는 판별대상 이미지가 무해 클래스에 속하는 경우, 이미지의 스킨 비율이 제2임계값 이상이면, 해당 이미지를 유해 이미지로 판별하고, 스킨 비율이 제2임계값 보다 작으면, 무해 이미지로 판별한다.
제2필터링부(25)는 판별대상 이미지가 유해 클래스에 속하는 경우, 이미지의 스킨 비율이 제3임계값 이상이면, 해당 이미지를 유해 이미지로 판별하고, 스킨 비율이 제3임계값 보다 작으면, 무해 이미지로 판별한다.
이렇게 제2필터링부(25)에서 각 이미지에 대해 스킨 비율을 판단할 때, 멀티미디어의 이미지의 특정 영역에 대한 스킨 비율을 분석할 수도 있고, 이미지의 전체 영역에 대한 스킨 비율을 분석할 수도 있음은 물론이다.
각 이미지에 대해 유해 또는 무해 여부가 결정되면, 제2필터링부(25)는 복수의 이미지를 포함하는 동영상에 대해 유해 또는 무해여부를 판별한다. 이때, 하나의 동영상에 속하는 복수의 이미지 중 하나라도 유해로 판단되었다면, 해당 동영상은 유해 동영상으로 판별되어야 한다. 그러나, 통상적으로 유해 이미지를 판별하는 시스템의 감지확률이 90% 정도이므로, 하나의 동영상내에 속하는 이미지 중 유해 이미지가 5 내지 15% 이하인 경우에는 무해 동영상으로 판별한다. 동영상의 유해 또는 무해여부를 판별하기 위한 유해 이미지의 비율은 설계자에 의해 설정될 수 있다.
이에 따라, 제2필터링부(25)는 하나의 동영상에 포함되는 다수의 이미지 중 미리 설정된 일정 비율 이상이 유해 이미지로 판별된 경우, 해당 동영상을 유해하다고 판별하고, 일정 비율보다 작은 유해 이미지를 갖는 경우에는 무해 이미지로 판별한다.
이러한 구성에 의한 유해 멀티미디어 판별시스템에서 멀티미디어의 유해성을 판별하는 과정을 도 2 및 도 3을 참조하여 설명하면 다음과 같다.
학습부(10)에서는 학습 샘플용 멀티미디어들로부터 무해 클래스, 유해 클래스, 얼굴 클래스의 특징을 추출하고(S200), 학습 기반(예: SVM) 기반으로 각 클래스의 특징으로 이용하여 무해 클래스, 유해 클래스, 얼굴 클래스를 상호 분류하는 분류기준을 생성한다(S205).
유해 판단 대상인 멀티미디어가 동영상인 경우, 영상추출부(5)에서는 동영상으로부터 유해를 판단할 복수의 이미지를 추출한다(S210).
제1필터링부(20)에서는 유해 판단대상인 각 이미지를 분류기준을 이용하여 분석하여 무해 클래스, 유해 클래스, 얼굴 클래스 중 하나로 분류한다(S215). 각 이미지에 대한 분류가 완료되면, 제2필터링부(25)에서는 무해 클래스, 유해 클래스, 얼굴 클래스로 분류된 각 이미지에 대해 스킨 비율을 측정하여 이미지를 재분류한다(S220).
도 3에는 무해 클래스, 유해 클래스, 얼굴 클래스로 분류된 이미지들 중, 얼굴 클래스로 분류된 이미지들에 대해 스킨 비율을 측정하여 이미지를 재분류하는 과정을 도시하고 있다.
제2필터링부(25)는 얼굴 클래스로 분류된 각 이미지에 대해 스킨 비율을 측정한다(S300). 그런 다음, 미리 설정된 스킨 비율의 제1임계값을 기준으로 각 이미지의 유해 또는 무해 여부를 판별한다. 각 이미지의 스킨 비율이 미리 설정된 임계값 이상이면(S310-Y), 유해 이미지로 판별되고(S320), 스킨 비율이 임계값보다 작으면(S310-N), 무해 이미지로 판별된다(S330).
각 이미지에 대한 유해 또는 무해 여부가 판별되면, 제2필터링부(25)는 복수의 이미지를 포함하는 동영상에 대한 유해 또는 무해 여부를 판별한다. 이때, 해당 동영상에 속하는 복수의 이미지 중 유해 이미지의 비율이 일정 이상인지 여부를 판단하고(S340), 유해 이미지의 비율이 일정 이상이면, 해당 동영상은 유해 동영상 으로 판별되고(S350), 일정 비율 보다 작은 개수의 유해 이미지를 갖는 경우, 해당 동영상은 무해 동영상으로 판별된다(S360).
한편, 도 3에는 제1필터링부(20)에서 얼굴 클래스로 분류된 각 이미지를 스킨 비율에 따라 재분류하는 과정에 대해서만 도시하였으나, 제1필터링부(20)에서 무해 클래스와 유해 클래스로 분류된 이미지들에 대해서도 동일한 과정을 거쳐 스킨 비율에 따라 이미지 및 동영상을 재분류할 수 있다. 다만, 얼굴 클래스, 무해 클래스, 유해 클래스는 유해와 무해를 구분하기 위한 스킨 비율의 임계값이 각각 상이하다.
예를 들어, 제1필터링부(20)에서 얼굴 클래스로 분류된 이미지 경우, 상술한 바와 같이, 제2필터링부(25)는 스킨 비율이 제1임계값 이상이면, 유해 이미지로 판별되고, 스킨 비율이 제1임계값 보다 작으면, 무해 이미지로 판별된다. 그러나, 무해 클래스로 분류된 이미지의 경우, 제2필터링부(25)는 스킨 비율이 제2임계값보다 작으면, 무해 이미지로 판별하고, 스킨 비율이 제2임계값 이상이면, 유해 이미지로 판별한다. 또한, 유해 클래스로 분류된 이미지의 경우, 제2필터링부(25)는 스킨 비율이 제3임계값 이상이면 유해하다고 판별하고, 스킨 비율이 제3임계값 보다 작으면, 무해 이미지로 판별한다.
하기의 표 1은, 본 유해 멀티미디어 판별시스템 및 그 판별방법의 일 실시예와, 다른 판별방법을 사용하는 시스템을 이용하여 멀티미디어의 유무해를 판별한 실험 결과로서, 각 시스템의 감지 확률을 나타내고 있다.
여기서, 본 발명의 실시예는, 학습방법으로 SVM을 사용하고, 내용기반의 방 식으로 MPEG-7 시각서술자를 사용하고, 스킨 컬러 모델로 M-GSCM(Mixture of Gaussian Skin Color Model)을 사용하였으며, 3개 클래스로 분류하는 3-클래스 학습모델 + 스킨비율로 나타내었다. 다른 판별방법으로는, 유해/무해의 2개 클래스로 분류하는 학습모델(2-클래스 학습모델)을 사용하여 유해 멀티미디어를 분류하는 방법과, 유해/무해/얼굴의 3개 클래스(3-클래스 학습모델)로 분류하는 SVM을 사용하여 유해 멀티미디어를 분류한 방법을 사용하였다.
구 분 감지 확률 유해 이미지 무해 이미지
2-클래스 학습모델 0.91175 0.8897 (2211/2485) 0.9338 (2144/2296)
3-클래스 학습모델 0.93704 0.9481 (2356/2485) 0.9251 (2124/2296)
3-클래스 학습모델+스킨비율 0.95775 0.9859 (2450/2485) 0.9351 (2147/2296)
표 1에서 알 수 있는 바와 같이, 2-클래스 학습모델의 경우, 전체 감지확률이 0.91175인데 반해, 3-클래스 학습모델은 0.93704이고, 본 유해 멀티미디어 판별시스템은 0.95775로서, 본 유해 멀티미디어 판별시스템에서는 다른 방법보다 감지확률이 향상되었음을 알 수 있다. 뿐만 아니라, 유해 이미지를 감지한 확률을 보면, 2-클래스 학습모델의 경우 0.8897, 3-클래스 학습모델은 0.9481이고, 본 유해 멀티미디어 판별시스템은 0.9859로서, 감지확률이 월등히 높다는 것을 알 수 있다. 특히, 유해 멀티미디어 판별시스템의 목적이 유해 이미지를 분류하는데 주목적이 있다는 것을 고려하면, 유해 이미지를 분류하는 감지확률이 높다는 것은 본 유해 멀티시스템이 우수한 성능을 가지고 있음을 입증하는 것이다. 한편, 가로 안의 숫자 중 앞의 숫자는 실험시 감지된 해당 유해 이미지 또는 무해 이미지 개수를 나타내고, 뒤의 숫자는 실험용으로 미리 분류해놓은 유해 이미지 또는 무해 이미지의 샘플 개수를 나타낸다.
이와 같이, 본 유해 멀티미디어 판별시스템에서는, 학습 샘플을 이용한 학습과정에 의해 생성된 특징을 이용하여 1차적으로 이미지를 유해 클래스, 무해 클래스, 얼굴 클래스로 분류한다. 그런 다음, 스킨 비율을 이용하여 1차 분류된 이미지를 2차적으로 유해 또는 클래스로 분류한다. 이에 따라, 종래에 얼굴 클래스와 같이 화면의 스킨 비율이 높아 유해 멀티미디어로 분류되던 멀티미디어의 경우, 유해하다고 분류되는 것이 아니라 무해 클래스로 분류될 확률이 높아지므로, 보다 정확하게 멀티미디어의 유해 판단이 가능해진다.
이상에서 설명한 본 발명은 첨부된 도면 및 상세한 설명의 실시예에 의해 한정되는 것은 아니며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경할 수 있다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 당업자에게 있어 명백하다 할 것이다.
도 1은 본 발명에 따른 유해 멀티미디어 판별시스템의 구성도,
도 2는 본 발명에 따른 유해 멀티미디어 판별시스템의 제1필터링부에서 학습에 의해 이미지를 분류하는 과정을 보인 흐름도,
도 3은 본 발명에 따른 유해 멀티미디어 판별시스템의 제2필터링부에서 스킨 비율에 따라 이미지 및 동영상의 유해성을 판별하는 과정을 보인 흐름도이다.
* 도면의 주요 부분에 대한 부호의 설명 *
5 : 영상추출부 10 : 학습부
15 : 학습 데이터베이스 20 : 제1필터링부
25 : 제2필터링부

Claims (10)

  1. 유해 클래스, 무해 클래스 그리고 얼굴 클래스의 세 클래스로 분류된 다수의 학습 샘플용 이미지를 학습하여, 각 클래스에 속하는 상기 학습 샘플용 이미지로부터 추출되는 특징에 대응하여 분류기준을 생성하는 학습부;
    이미지 또는 동영상을 포함하는 멀티미디어 데이터를 상기 분류기준에 따라, 상기 유해 클래스, 상기 무해 클래스 및 상기 얼굴 클래스 중 어느 하나의 클래스로 분류하는 제1필터링부; 및
    상기 이미지에서 피부색이 차지하는 비율인 스킨비율(skin Ratio) 또는 상기 동영상에 포함된 복수의 이미지 각각에 대한 스킨비율(skin Ratio)과, 상기 제1필터링부에 의해 분류된 클래스에 대응하여 상기 멀티미디어 데이터가 유해한지 여부를 판별하는 제2필터링부;를 포함하는 유해 멀티미디어 판별시스템.
  2. 제 1 항에 있어서,
    상기 제2필터링부는, 상기 제1필터링부에 의해 상기 멀티미디어 데이터가 상기 얼굴 클래스로 분류된 경우, 상기 스킨 비율이 미리 설정된 제1임계값 이상이면 유해한 것으로 판별하고, 상기 스킨 비율이 상기 제1임계값 보다 작으면 무해한 것으로 판별하고,
    상기 멀티미디어 데이터가 상기 무해 클래스로 분류된 경우, 상기 스킨 비율이 미리 설정된 제2임계값 보다 작으면 무해한 것으로 판별하고, 상기 스킨 비율이 상기 제2임계값 이상이면 유해한 것으로 판별하며,
    상기 멀티미디어 데이터가 상기 유해 클래스로 분류된 경우, 상기 스킨 비율이 미리 설정된 제3임계값 이상이면 유해한 것으로 판별하고, 상기 스킨 비율이 상기 제3임계값 보다 작으면 무해한 것으로 판별하는 것을 특징으로 하는 유해 멀티미디어 판별시스템.
  3. 삭제
  4. 삭제
  5. 제 1 항에 있어서,
    상기 동영상으로부터 상기 복수의 이미지를 추출하는 영상추출부를 더 포함하고;
    상기 제2필터링부는, 상기 멀티미디어 데이터가 동영상인 경우, 상기 영상추출부로부터 추출된 상기 복수의 이미지 각각에 대하여 유해 여부를 판별한 후, 상기 복수의 이미지 중 유해한 것으로 판별된 이미지가 일정 비율 이상 존재하면 상기 멀티미디어 데이터가 유해한 것으로 최종 판별하는 것을 특징으로 하는 유해 멀티미디어 판별시스템.
  6. 유해 클래스, 무해 클래스 그리고 얼굴 클래스의 세 클래스로 분류된 다수의 학습 샘플용 이미지로부터 추출된 각 클래스의 특징에 따라 분류기준을 생성하는 단계;
    상기 분류기준을 이용하여, 이미지 또는 동영상을 포함하는 멀티미디어 데이터를 상기 유해 클래스, 상기 무해 클래스 및 상기 얼굴 클래스 중 어느 하나로 분류하는 분류단계;
    상기 이미지에서 피부색이 차지하는 비율인 스킨비율(Skin Ratio) 또는 상기 동영상에 포함된 복수의 이미지 각각에 대한 스킨비율을 측정하는 단계; 및
    상기 분류단계에서 분류된 클래스와, 상기 스킨 비율에 대응하여, 상기 멀티미디어 데이터가 유해한지 여부를 판별하는 판별단계;를 포함하는 것을 특징으로 하는 유해 멀티미디어 판별방법.
  7. 제 6 항에 있어서,
    상기 판별단계는, 상기 멀티미디어 데이터가 상기 분류단계에서 상기 얼굴 클래스로 분류된 경우, 상기 스킨 비율이 미리 설정된 제1임계값 이상이면 유해한 것으로 판별하고, 상기 스킨 비율이 상기 제1임계값 보다 작으면 무해한 것으로 판별하는 것을 특징으로 하는 유해 멀티미디어 판별 방법.
  8. 제 6 항에 있어서,
    상기 판별단계는, 상기 멀티미디어 데이터가 상기 분류단계에서 상기 무해 클래스로 분류된 경우, 상기 스킨 비율이 미리 설정된 제2임계값 보다 작으면 무해한 것으로 판별하고, 상기 스킨 비율이 상기 제2임계값 이상이면 유해한 것으로 판별하는 것을 특징으로 하는 유해 멀티미디어 판별 방법.
  9. 제 6 항에 있어서,
    상기 판별단계는, 상기 멀티미디어 데이터가 상기 분류단계에서 상기 유해 클래스로 분류된 경우, 상기 스킨 비율이 미리 설정된 제3임계값 이상이면 유해한 것으로 판별하고, 상기 스킨 비율이 상기 제3임계값 보다 작으면 무해한 것으로 판별하는 것을 특징으로 하는 유해 멀티미디어 판별 방법.
  10. 제 6 항에 있어서,
    상기 멀티미디어 데이터가 동영상인 경우, 상기 분류단계 전, 상기 멀티미디어 데이터로부터 소정 규칙에 따라 상기 복수의 이미지를 추출하는 단계를 더 포함하고,
    상기 복수의 이미지 각각에 대한 유해 여부를 판별한 후, 상기 복수의 이미지 중 일정 비율 이상이 유해한 것으로 판별되는 경우, 상기 멀티미디어 데이터가 유해한 것으로 최종 판별하는 것을 특징으로 하는 유해 멀티미디어 판별 방법.
KR1020080093807A 2008-09-24 2008-09-24 유해 멀티미디어 판별시스템 및 그 판별방법 KR101003504B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080093807A KR101003504B1 (ko) 2008-09-24 2008-09-24 유해 멀티미디어 판별시스템 및 그 판별방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080093807A KR101003504B1 (ko) 2008-09-24 2008-09-24 유해 멀티미디어 판별시스템 및 그 판별방법

Publications (2)

Publication Number Publication Date
KR20100034589A KR20100034589A (ko) 2010-04-01
KR101003504B1 true KR101003504B1 (ko) 2010-12-30

Family

ID=42212712

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080093807A KR101003504B1 (ko) 2008-09-24 2008-09-24 유해 멀티미디어 판별시스템 및 그 판별방법

Country Status (1)

Country Link
KR (1) KR101003504B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101435778B1 (ko) 2011-03-16 2014-08-29 한국전자통신연구원 비디오 기반 시각적 특징과 다단계 통계적 결합을 이용한 유해 동영상 분류 방법 및 장치

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102487436B1 (ko) * 2020-12-04 2023-01-11 채진호 창작물 등급 분류 장치 및 방법
KR102530843B1 (ko) * 2022-11-02 2023-05-11 (주)에이아이딥 인공지능 기반의 포르노 영상 분류 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
송철환, 유성준, "Support Vector Machine을 이용한 유해이미지 분류", 한국정보과학회 2006 가을 학술발표논문집 제33권 제2호(C), pp. 218-221, 2006.10.

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101435778B1 (ko) 2011-03-16 2014-08-29 한국전자통신연구원 비디오 기반 시각적 특징과 다단계 통계적 결합을 이용한 유해 동영상 분류 방법 및 장치

Also Published As

Publication number Publication date
KR20100034589A (ko) 2010-04-01

Similar Documents

Publication Publication Date Title
US8358837B2 (en) Apparatus and methods for detecting adult videos
JP5420199B2 (ja) 映像解析装置、映像解析方法、ダイジェスト自動作成システム及びハイライト自動抽出システム
CN110381366B (zh) 赛事自动化报道方法、系统、服务器及存储介质
Sang et al. Robust face-name graph matching for movie character identification
KR20110021195A (ko) 동영상에서 중요 정보를 검출하는 방법 및 그 장치
Han et al. Video scene segmentation using a novel boundary evaluation criterion and dynamic programming
Li et al. Fast and effective text detection
KR101003504B1 (ko) 유해 멀티미디어 판별시스템 및 그 판별방법
Lu et al. An effective post-refinement method for shot boundary detection
Ma et al. Lecture video segmentation and indexing
Zhang et al. A robust and efficient shot boundary detection approach based on fisher criterion
Gui et al. A fast caption detection method for low quality video images
Kim et al. Automatic color scheme extraction from movies
Bertini et al. Player identification in soccer videos
Sambyal et al. Automatic text extraction and character segmentation using maximally stable extremal regions
Jin et al. Object-based video forgery detection via dual-stream networks
Zhou et al. An SVM-based soccer video shot classification
Gomes et al. Automatic detection of TV commercial blocks: A new approach based on digital on-screen graphics classification
CN112818984B (zh) 标题生成方法、装置、电子设备和存储介质
KR100656373B1 (ko) 시간구간별 우선순위와 판별정책을 적용하는 유해 동영상판별 방법 및 그 장치
CN114187625A (zh) 一种基于视频源自动探测技术的视频检测方法
Paliwal et al. A survey on various text detection and extraction techniques from videos and images
Feng et al. Real time commercial detection in videos
KR100734845B1 (ko) 이미지 품질 판별 기능을 이용한 유해 동영상 분류 방법 및그 장치
Coccomini et al. Mintime: Multi-identity size-invariant video deepfake detection

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20131128

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20151127

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20161121

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20171211

Year of fee payment: 8