KR20110066676A - 피부색과 얼굴 정보 기반 유해 멀티미디어 차단 장치 및 방법 - Google Patents

피부색과 얼굴 정보 기반 유해 멀티미디어 차단 장치 및 방법 Download PDF

Info

Publication number
KR20110066676A
KR20110066676A KR1020090123422A KR20090123422A KR20110066676A KR 20110066676 A KR20110066676 A KR 20110066676A KR 1020090123422 A KR1020090123422 A KR 1020090123422A KR 20090123422 A KR20090123422 A KR 20090123422A KR 20110066676 A KR20110066676 A KR 20110066676A
Authority
KR
South Korea
Prior art keywords
skin color
face
multimedia
data
harmful
Prior art date
Application number
KR1020090123422A
Other languages
English (en)
Inventor
한승완
임재덕
최병철
정병호
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020090123422A priority Critical patent/KR20110066676A/ko
Priority to US12/965,310 priority patent/US20110142346A1/en
Publication of KR20110066676A publication Critical patent/KR20110066676A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/72—Data preparation, e.g. statistical preprocessing of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 피부색 및 얼굴 정보에 기반하여 음란성 유해 멀티미디어를 차단할 수 있는 장치 및 방법에 관한 것이다. 본 발명에 따른 피부색 및 얼굴 정보 기반 유해 멀티미디어 차단 장치는, 멀티미디어 학습 데이터로부터 피부색 및 얼굴 데이터를 검출하고 이를 분석하여 상기 학습 데이터의 피부색 및 얼굴 기반 유무해 특징을 생성하는 학습데이터 특징 생성부; 상기 생성된 학습 데이터의 피부색 및 얼굴 기반 유무해 특징에 대한 통계 처리 및 기계 학습을 통해 유해 분류 모델을 생성하는 유해 분류 모델 생성부;유해성 판단을 위해 입력되는 멀티미디어 데이터로부터 피부색 및 얼굴 데이터를 검출하고 이를 분석하여 상기 입력된 멀티미디어의 피부색 및 얼굴 기반 특징을 생성하는 입력 데이터 특징 생성부; 상기 입력된 멀티미디어의 피부색 및 얼굴 기반 특징을 상기 유해 모델에 적용하여 상기 입력된 멀티미디어의 유해성을 판단하는 멀티미디어 유해성 판단부; 및 상기 판단 결과가 유해인 경우 상기 입력된 멀티미디어를 차단하는 유해 멀티미디어 차단부를 포함한다.
유해성 멀티미디어, 유해 분류 모델, 피부색, 얼굴, 차단

Description

피부색과 얼굴 정보 기반 유해 멀티미디어 차단 장치 및 방법{Apparatus and method for blocking the objectionable multimedia based on skin-color and face information}
본 발명은 멀티미디어 영상에 포함되어 있는 피부색과 얼굴 정보를 이용하여 키스장면, 노출장면 등과 같은 음란성 유해 멀티미디어를 차단할 수 있는 장치 및 방법에 관한 것으로, 더욱 상세하게는 멀티미디어 학습 데이터로부터 생성된 피부색 및 얼굴 정보에 기반한 유해 멀티미디어 특징을 이용하여 유해 분류 모델을 생성하고 이와 같이 생성된 유해 분류 모델을 사용하여 새롭게 유입되는 멀티미디어의 유해성을 판단하여 유해 멀티미디어를 차단하는 방법 및 장치에 관한 것이다.
인터넷은 정보의 바다라고 불릴 정도로 다양한 정보들이 존재할 뿐만 아니라 사용이 편리하여, 현대를 살아가는 많은 사람들의 일상생활 일부가 되어 사회적, 경제적, 학문적인 측면에 있어서 긍정적인 면을 제공한다. 그러나, 이러한 긍정적인 면에 반하여, 인터넷의 개방성, 상호연결성, 익명성의 특징을 이용한 유해 정보 의 무분별한 유포는 심각한 사회 문제로 대두되고 있다. 특히 인터넷에 언제든지 접속이 가능한 청소년들은 이전보다 훨씬 빈번하게 유해 정보에 노출되게 된다. 이러한 환경은 가치 판단력이 떨어지고 자기 통제력이 약한 청소년들을 유혹하여 정서적, 정신적 해악을 끼칠 수 있다. 그러므로 사회적 약자인 청소년 또는 원치 않는 사람들이 유해 정보에 노출되지 않도록 유해 정보를 차단하는 방법이 필요하다.
종래에 유해 멀티미디어 차단 방법으로는 메타 데이터 및 텍스트 정보 기반 차단 기법, 해쉬 및 DB 기반 차단 기법, 내용 기반 차단 기법 등이 있다. 메타 데이터 및 텍스트 정보 기반 차단 기법은 멀티미디어의 제목, 파일이름, 설명에 포함된 텍스트의 유해성을 분석하여 멀티미디어의 유해성을 판단하는 방법으로서, 높은 과차단율 및 오차단율을 나타낸다. 해쉬 및 DB 기반 차단 기법은 기존에 알려진 유해 멀티미디어의 해쉬값을 계산하여 데이터베이스화한 후, 입력으로 들어온 새로운 멀티미디어의 유해성을 판단하기 위해서는 멀티미디어의 해쉬값을 계산한 후 이전에 구축한 데이터베이스와 비교하여 멀티미디어의 유해성을 판단하는 방법이다. 이 방법은 유해 멀티미디어가 증가하면 할수록 해쉬값 데이터베이스의 크기가 증가할 뿐만 아니라, 멀티미디어의 유해성을 판단하는 계산량이 증가하는 문제점을 갖는다. 또한, 이미 알려진 유해 멀티미디어라도 약간의 변형을 통해 해쉬값이 변한다면, 차단하지 못한다.
최근에 등장한 내용 기반 차단 기법은 유해 멀티미디어의 내용을 분석하여 특징을 생성하고, 그 특징으로부터 유해 분류 모델을 생성한 후, 기생성된 유해 분류 모델에 근거하여 입력으로 들어온 멀티미디어의 유해성을 판단하는 것이다. 이 방법은 메타 데이터 및 텍스트 기반 차단 기법에서 나타나는 높은 과차단율 및 오차단율을 해결하고 해쉬 및 DB 기반 차단 기법의 데이터베이스 크기 및 계산량 문제를 해결하였다.
그러나, 대부분의 내용 기반 차단 기법은 유해 멀티미디어의 특징으로 색상(color), 질감(texture), 형태(shape)과 같은 저수준 특징을 사용하거나 멀티미디어 검색에 주로 사용되는 MPEG-7 기술자(Descriptor)를 주로 사용한다. 이러한 정보는 유해 멀티미디어의 특징을 제대로 반영하지 못하여 낮은 차단율과 높은 오차단율을 보인다. 이러한 문제점을 해결하기 위해, 최근 새로운 접근법에서는 화소(pixel) 단위로 피부색을 탐지하여 영상에서의 피부색과 비피부색 비율 등을 유해성 판단의 특징으로 활용하기도 한다. 그러나, 이러한 특징을 사용하는 접근법도 실제의 유해 멀티미디어를 의미적으로 정확하게 묘사하고 축약하기에는 부족하여, 상기의 특징을 사용하여 생성된 유해 분류 모델은 여전히 낮은 성능을 보인다.
그러므로, 유해 멀티미디어 차단 방법의 과차단율과 오차단율을 낮추기 위해서는 보다 정확하게 의미적으로 유해 멀티미디어를 묘사하고 축약할 수 있는 특징의 정의와 이러한 특징에 기반한 유해 멀티미디어 차단 방법이 필요하다.
본 발명이 이루고자 하는 기술적 과제는, 멀티미디어 학습 데이터로부터 피부색 및 얼굴과 관련된 정보를 획득하고 분석하여 사람의 존재 유무, 신체 형태, 노출 정도를 포함한 유해성을 표현할 수 있는 특징을 생성하고, 이러한 특징들에 대해 통계적 분석 및 기계학습을 적용하여 유해 멀티미디어의 공통적인 특징을 반영하는 유해 분류 모델을 생성하며, 생성된 유해 분류 모델을 이용하여 새롭게 입력되는 멀티미디어의 유해성을 판단하고 유해 멀티미디어를 차단하는 방법 및 장치를 제공하는 데 있다.
본 발명의 일 특징에 따른 피부색 및 얼굴 정보 기반 유해 멀티미디어 차단 장치는, 멀티미디어 학습 데이터로부터 피부색 및 얼굴 데이터를 검출하고 이를 분석하여 상기 학습 데이터의 피부색 및 얼굴 기반 유무해 특징을 생성하는 학습데이터 특징 생성부; 상기 생성된 학습 데이터의 피부색 및 얼굴 기반 유무해 특징에 대한 통계 처리 및 기계 학습을 통해 유해 분류 모델을 생성하는 유해 분류 모델 생성부; 유해성 판단을 위해 입력되는 멀티미디어 데이터로부터 피부색 및 얼굴 데이터를 검출하고 이를 분석하여 상기 입력된 멀티미디어의 피부색 및 얼굴 기반 특징을 생성하는 입력 데이터 특징 생성부; 상기 입력된 멀티미디어의 피부색 및 얼굴 기반 특징을 상기 유해 모델에 적용하여 상기 입력된 멀티미디어의 유해성을 판 단하는 멀티미디어 유해성 판단부; 및 상기 판단 결과가 유해인 경우 상기 입력된 멀티미디어를 차단하는 유해 멀티미디어 차단부를 포함한다.
본 발명의 다른 특징에 따른 유해 멀티미디어 차단 방법은, 멀티미디어 학습 데이터로부터 피부색 및 얼굴 데이터를 검출하고 이를 분석하여 피부색 및 얼굴 기반 유무해 특징을 생성하는 단계; 상기 생성된 피부색 및 얼굴 기반 유무해 특징으로부터 유해 분류 모델을 생성하는 단계; 유해성 판단을 위해 입력되는 멀티미디어 데이터로부터 피부색 및 얼굴 데이터를 검출하고 이를 분석하여 상기 입력된 멀티미디어의 피부색 및 얼굴 기반 특징을 생성하는 단계; 상기 입력된 멀티미디어의 피부색 및 얼굴 기반 특징을 상기 유해 모델에 적용하여 상기 입력된 멀티미디어의 유해성을 판단하는 단계; 및 상기 판단 결과가 유해인 경우 상기 입력된 멀티미디어를 차단하는 단계를 포함한다.
본 발명의 피부색과 얼굴 정보 기반 유해 멀티미디어 차단 장치 및 방법에 따르면, 멀티미디어의 유해성 판단 여부를 멀티미디어의 영상에 포함된 피부색과 얼굴 검출과 분석을 통해 얻어진 특징(피부색 비율, 피부색 영역의 수, 위치, 분포, 크기, 형태 등과 같은 피부색 정보와 얼굴의 개수, 위치, 방향, 형태 등의 얼굴 정보)의 통계 분석 및 기계 학습을 통해 유해 분류 모델을 생성함으로써, 유해 멀티미디어 차단에서 발생하는 과차단율과 오차단율을 낮출 수 있다. 또한, 본 발명의 피부색과 얼굴 정보 기반 유해 멀티미디어 차단 방법 및 장치는 영상에 포함 된 피부색과 얼굴의 개수, 크기, 위치, 분포 등과 같은 정보를 사용함으로써, 멀티미디어의 의미 기반 분석을 가능하게 하고 유해 정도에 따른 분류가 가능하도록 한다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명하겠다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있음을 의미한다.
도 1은 본 발명의 일 실시예에 따른 피부색 및 얼굴 정보 기반 유해 멀티미디어 차단 장치의 구성을 도시한 블록도이다.
도 1을 참조하면, 본 발명에 따른 유해 멀티미디어 차단 장치는, 학습 데이터 특징 생성부(110), 유해 분류 모델 생성부(120), 입력 데이터 특징 생성부(130), 멀티미디어 유해성 판단부(140) 및 유해 멀티미디어 차단부(150)를 포함한다.
학습 데이터 특징 생성부(110)는 사전에 유해성 및 무해성이 알려진 멀티미디어 학습 데이터로부터 피부색과 얼굴 데이터를 검출하고 이를 분석하여 피부색 및 얼굴 정보 기반 유해 및 무해 멀티미디어 특징을 생성한다.
유해 분류 모델 생성부(120)는 피부색 및 얼굴 기반 유해 특징 생성부(110)에 의해 생성된 유무해 특징을 이용하여 통계 처리와 기계 학습을 통해 유해 분류 모델을 생성한다. 유해 분류 모델은 추후 멀티미디어 입력 정보의 유해성을 판단하기 위한 기준 모델로 사용된다.
입력 데이터 특징 생성부(130)는 유해성 판별 대상으로 입력된 멀티미디어 데이터로부터 피부색과 얼굴 데이터를 검출하고 검출된 데이터를 분석하여 멀티미디어의 피부색 및 얼굴 기반 특징을 생성한다.
멀티미디어 유해성 판단부(140)는 입력 데이터 특징 생성부(130)에 의해 생성된 상기 멀티미디어의 특징을 유해 분류 모델 생성부(120)에 의해 생성된 유해 모델에 적용하여 유해성을 판단한다.
유해 멀티미디어 차단부(150)는 멀티미디어 유해성 판단부(140)에 의해 유해하다고 판단된 멀티미디어를 차단한다.
도 2는 도 1에 도시된 유해 멀티미디어 차단 장치의 세부 구성을 좀더 상세히 도 시한 블록도이다. 도시된 바와 같이, 학습 데이터 특징 생성부(110)는, 멀티미디어 학습 데이터로부터 피부색 데이터를 검출하는 피부색 검출부(111), 검출된 피부색 데이터를 분석하여, 피부색 비율, 피부색 영역의 수, 위치, 분포, 크기, 형태 등과 같은 피부색 정보를 생성하는 피부색 정보 분석부(112), 멀티미디어 학습 데이터로부터 얼굴 데이터를 검출하는 얼굴 검출부(113), 검출된 얼굴 데이터로부터 얼굴 개수, 위치, 방향, 형태 등과 같은 얼굴 정보를 생성하는 얼굴 정보 분석부(114) 및 상기 피부색 정보 분석부(112) 및 얼굴정보 분석부(114)에 의해 생성된 피부색 정보 및 얼굴 정보를 이용하여 대표적인 유무해 멀티미디어 특징을 생성하는 유무해 특징 생성부(115)를 포함한다.
유해 분류 모델 생성부(120)는 통계 처리부(121)와 기계 학습부(122)를 포함하며, 학습 데이터 특징 생성부(110)에서 생성된 유무해 특징에 대한 통계 처리 및 기계 학습을 통해 유해 분류 모델을 생성한다. 통계 처리부(121)는 유해 특징에 대한 경향성 분석과 경계치 설정을 포함한 통계 모델을 수립하고, 기계 학습부(122)는 상기 통계 모델 결과와 유해 특징에 대한 기계 학습을 수행하여 유해 분류 모델을 생성한다. 이렇게 생성된 유해 분류 모델은 추후 멀티미디어 유해성 판단부(130)에 의해 멀티미디어의 유해성을 판단하기 위해 사용된다.
입력 데이터 특징 생성부(130)는, 피부색 및 얼굴기반 유무해 특징 생성부(110)와 유사하게, 피부색 검출부(131), 피부색 정보 분석부(132), 얼굴 검출부(133), 얼굴 정보 분석부(134) 및 특징 생성부(135)를 구비하여, 유해성 판별을 위해 멀티미디어 학습 정보와 별도로 입력으로 들어오는 멀티미디어의 피부색과 얼 굴 정보에 기반한 특징을 생성한다. 구체적으로, 입력 데이터 특징 생성부(130)는 유해성 판단 대상 멀티미디어 데이터로부터 피부색 데이터를 검출하는 피부색 검출부(131), 검출된 피부색 데이터를 분석하여, 피부색 비율, 피부색 영역의 수, 위치, 분포, 크기, 형태 등과 같은 피부색 정보를 생성하는 피부색 정보 분석부(132), 멀티미디어 데이터로부터 얼굴 데이터를 검출하는 얼굴 검출부(133), 검출된 얼굴 데이터로부터 얼굴 개수, 위치, 방향, 형태 등의 얼굴 정보를 생성하는 얼굴 정보 분석부(134) 및 상기 피부색 정보 분석부(132) 및 얼굴정보 분석부(134)에 의해 생성된 피부색 정보 및 얼굴 정보를 이용하여 유해성 판단 대상 멀티미디어를 대표하는 특징을 생성하는 특징 생성부(135)를 포함한다.
멀티디미어 유해성 판단부(140)는 입력 데이터 특징 생성부(130)에서 생성된 상기 멀티미디어의 특징을 상기 유해 모델에 적용하여 입력된 멀티미디어의 유해성을 판단한다. 유해 멀티미디어 차단부(140)는 유해하다고 판단된 멀티미디어를 차단한다.
도 3은 본 발명의 바람직한 일 실시예에 따른 피부색 및 얼굴 정보 기반 유해 멀티미디어 차단 방법을 도시한 흐름도이다. 도 3을 참조하면, 먼저, 유무해 정도가 사전에 알려진 멀티미디어 학습 데이터로부터 피부색과 얼굴 데이터를 검출한다(S310). 여기에서 피부색과 얼굴 검출은 기존에 널리 알려진 방법을 사용하거나, 새롭게 유해 멀티미디어의 특성을 반영한 검출 모델을 통해 이루어질 수 있다.
다음으로, 단계(S310)에서 검출된 피부색과 얼굴 데이터를 분석하여 유무해 멀 티미디어 특징을 생성한다(S320). 일 예에서, 피부색과 얼굴 데이터를 분석하여 생성된 특징으로는 피부색 비율, 피부색 영역의 수, 위치, 분포, 크기, 형태 등과 같은 피부색 정보와 얼굴의 개수, 위치, 방향, 형태 등과 같은 얼굴 정보가 포함된다.
상기 생성된 유무해 특징들을 통계 처리하고 기계 학습함으로써 유해 분류 모델을 생성한다(S330).
다음으로, 유해성 여부를 판단하고자 하는 멀티미디어 데이터로부터 피부색과 얼굴 데이터를 검출한다(S340).
다음으로, 단계(S340)에서 검출된 피부색과 얼굴 데이터를 분석하여 멀티미디어 특징을 생성한다(S350). 일 실시예에서, 피부색과 얼굴 데이터를 분석하여 얻어진 특징은 피부색 비율, 피부색 영역의 수, 위치, 분포, 크기, 형태 등과 같은 피부색 정보와 얼굴의 개수, 위치, 방향, 형태 등과 같은 얼굴 정보를 포함한다.
다음으로, 단계(S350)에서 생성된 특징을 상기 단계(S330)에서 생성된 유해 분류 모델에 적용하여 상기 입력된 멀티미디어의 유해성을 판단한다(S360).
다음으로, 단계(S360)에서 유해하다고 판단되는 경우, 즉 유해 멀티미디어 입력 정보라고 판단되는 경우, 멀티미디어 입력 정보를 차단한다(S370).
이제까지 살펴본 바와 같이, 본 발명은 유해 멀티미디어의 영상이 신체 일부를 노출한 사람을 포함하는 특성을 활용하여, 유해 멀티미디어로부터 피부색 및 얼굴 정보를 통해 사람의 유무, 노출 정도, 신체 자세, 등장 인물 사이의 행위 등을 파악하여 유해 특징을 생성하고 이를 기반으로 유해 분류 모델을 생성한다. 상기 유 해 분류 모델은 향후에 유해성 판단을 위해 입력되는 멀티미디어의 유해성 판단에 이용된다. 상기와 같은 피부색과 얼굴 정보에 기반한 유해 특징을 사용함으로써, 유해 멀티미디어 차단에 있어서 발생하는 과차단율과 오차단율을 현저하게 낮출 수 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는ROM, RAM, CD_ROM, 자기테이프, 플로피디스크 및 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드로 저장되고 실행될 수 있다.
또한, 본 발명에 따른 피부색 및 얼굴 정보 기반 유해 멀티미디어 차단 방법 및 장치는 휴대용 멀티미디 재생 장치(MP3, PMP 등), 핸드폰 및 PDA에도 적용될 수 있다.
이제까지 본 발명에 대하여 실시 예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으 며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 피부색 및 얼굴 정보 기반 유해 멀티미디어 차단 장치의 구성을 도시한 블록도이다.
도 2는 도 1에 도시된 유해 멀티미디어 차단 장치의 세부 구성을 좀더 상세히 도시한 블록도이다.
도 3은 본 발명의 바람직한 일 실시예에 따른 피부색 및 얼굴 정보 기반 유해 멀티미디어 차단 방법을 도시한 흐름도이다.

Claims (12)

  1. 멀티미디어 학습 데이터로부터 피부색 및 얼굴 데이터를 검출하고 이를 분석하여 피부색 및 얼굴 기반 유무해 특징을 생성하는 학습 데이터 특징 생성부;
    상기 생성된 피부색 및 얼굴 기반 유무해 특징에 대한 통계 처리 및 기계 학습을 통해 유해 분류 모델을 생성하는 유해 분류 모델 생성부;
    유해성 판단을 위해 입력되는 멀티미디어 데이터로부터 피부색 및 얼굴 데이터를 검출하고 이를 분석하여 상기 입력된 멀티미디어의 피부색 및 얼굴 기반 특징을 생성하는 입력 데이터 특징 생성부;
    상기 입력된 멀티미디어의 피부색 및 얼굴 기반특징을 상기 유해 모델에 적용하여 상기 입력된 멀티미디어의 유해성을 판단하는 멀티미디어 유해성 판단부; 및
    상기 판단 결과가 유해인 경우 상기 입력된 멀티미디어를 차단하는 유해 멀티미디어 차단부
    를 포함하는 피부색 및 얼굴 정보 기반 유해 멀티미디어 차단 장치.
  2. 제1항에 있어서, 상기 멀티미디어 학습 데이터는 유무해성이 이미 알려진 데이터인 피부색 및 얼굴 정보 기반 유해 멀티미디어 차단 장치.
  3. 제 1 항에 있어서, 상기 학습 데이터 특징 생성부는,
    상기 멀티미디어 학습 데이터로부터 피부색 데이터를 검출하는 피부색 검출부;
    상기 멀티미디어 학습 데이터로부터 얼굴 데이터를 검출하는 얼굴 검출부;
    상기 검출된 피부색 데이터를 분석하여, 피부색 비율, 피부색 영역의 수, 위치, 분포, 크기, 형태 및 상관 관계중 적어도 하나를 포함하는 피부색 정보를 생성하는 피부색 정보 분석부;
    상기 검출된 얼굴 데이터를 분석하여, 얼굴의 개수, 위치, 방향, 형태 및 상관 관계중 적어도 하나를 포함하는 얼굴 정보를 생성하는 얼굴 정보 분석부; 및
    상기 생성된 피부색 정보 및 얼굴 정보로부터 피부색 및 얼굴 기반 유무해 특징을 생성하는 유무해 특징 생성부
    를 포함하는 피부색 및 얼굴 정보 기반 유해 멀티미디어 차단 장치.
  4. 제 1 항에 있어서, 상기 유해 분류 모델 생성부는,
    상기 피부색 및 얼굴 기반 유무해 특징에 대한 경향성 분석과 경계치 설정을 포함하는 통계 모델을 수립하는 통계 처리부; 및
    상기 피부색 및 얼굴 기반 유무해 특징 및 상기 수립된 통계 모델에 대한 기계 학습을 수행하는 기계학습부
    를 포함하는 피부색 및 얼굴 정보 기반 유해 멀티미디어 차단 장치.
  5. 제 1 항에 있어서, 상기 입력 데이터 특징 생성부는,
    상기 입력된 멀티미디어 데이터로부터 피부색 데이터를 검출하는 피부색 검출부;
    상기 입력된 멀티미디어 데이터로부터 얼굴 데이터를 검출하는 얼굴 검출부;
    상기 검출된 피부색 데이터를 분석하여, 피부색 비율, 피부색 영역의 수, 위치, 분포, 크기, 형태 및 상관 관계중 적어도 하나를 포함하는 피부색 정보를 생성하는 피부색 정보 분석부;
    상기 검출된 얼굴 데이터를 분석하여, 얼굴의 개수, 위치, 방향, 형태 및 상관 관계중 적어도 하나를 포함하는 얼굴 정보를 생성하는 얼굴 정보 분석부; 및
    상기 생성된 피부색 정보와 얼굴 정보로부터 상기 입력된 멀티미디어의 피부색 및 얼굴 기반 특징을 생성하는 특징 생성부
    를 포함하는 피부색 및 얼굴 기반 유해 멀티미디어 차단 장치.
  6. 제1항에 있어서, 상기 학습 데이터 특징 생성부 및 상기 입력 데이터 특징 생성부는 동일한 방식으로 상기 피부색 및 얼굴 기반 유무해 특징 및 상기 피부색 및 얼굴 기반 특징 각각을 생성하는 피부색 및 얼굴 기반 유해 멀티미디어 차단 장치.
  7. 멀티미디어 학습 데이터로부터 피부색 및 얼굴 데이터를 검출하고 이를 분석하여 피부색 및 얼굴 기반 유무해 특징을 생성하는 단계;
    상기 생성된 피부색 및 얼굴 기반 유무해 특징으로부터 유해 분류 모델을 생성하는 단계;
    유해성 판단을 위해 입력되는 멀티미디어 데이터로부터 피부색 및 얼굴 데이터를 검출하고 이를 분석하여 상기 입력된 멀티미디어의 피부색 및 얼굴 기반 특징을 생성하는 단계;
    상기 입력된 멀티미디어의 피부색 및 얼굴 기반 특징을 상기 유해 모델에 적용하여 상기 입력된 멀티미디어의 유해성을 판단하는 단계; 및
    상기 판단 결과가 유해인 경우 상기 입력된 멀티미디어를 차단하는 단계
    를 포함하는 피부색 및 얼굴 정보 기반 유해 멀티미디어 차단 방법.
  8. 제7항에 있어서, 상기 멀티미디어 학습 데이터는 유무해성이 이미 알려진 데이터인 피부색 및 얼굴 정보 기반 유해 멀티미디어 차단 방법.
  9. 제 7 항에 있어서, 상기 멀티미디어 학습 데이터로부터 피부색 및 얼굴 기반 유무해 특징을 생성하는 단계는;
    상기 멀티미디어 학습 데이터로부터 피부색 및 얼굴 데이터를 검출하는 단계;
    상기 검출된 피부색 데이터를 분석하여, 피부색 비율, 피부색 영역의 수, 위치, 분포, 크기, 형태 및 상관 관계중 적어도 하나를 포함하는 피부색 정보를 생성하는 단계;
    상기 검출된 얼굴 데이터를 분석하여, 얼굴의 개수, 위치, 방향, 형태 및 상관 관계중 적어도 하나를 포함하는 얼굴 정보를 생성하는 단계;
    상기 생성된 피부색 정보 및 얼굴 정보로부터 피부색 및 얼굴 기반 유무해 특징을 생성하는 단계
    를 포함하는 피부색 및 얼굴 정보 기반 유해 멀티미디어 차단 방법.
  10. 제 7 항에 있어서, 상기 유해 분류 모델을 생성하는 단계는,
    상기 피부색 및 얼굴 기반 유무해 특징에 대한 경향성 분석과 경계치 설정을 포함하는 통계 모델을 수립하는 단계; 및
    상기 피부색 및 얼굴 기반 유무해 특징 및 상기 수립된 통계 모델에 대한 기계 학습을 수행하는 단계
    를 포함하는 피부색 및 얼굴 정보 기반 유해 멀티미디어 차단 방법.
  11. 제 7 항에 있어서, 상기 유해성 판단을 위해 입력되는 멀티미디어 데이터로부터 상기 피부색 및 얼굴 기반 특징을 생성하는 단계는,
    상기 입력된 멀티미디어 데이터로부터 피부색 및 얼굴 데이터를 검출하는 단계;
    상기 검출된 피부색 데이터를 분석하여, 피부색 비율, 피부색 영역의 수, 위치, 분포, 크기, 형태 및 상관 관계중 적어도 하나를 포함하는 피부색 정보를 생성하는 단계;
    상기 검출된 얼굴 데이터를 분석하여, 얼굴의 개수, 위치, 방향, 형태 및 상관 관계중 적어도 하나를 포함하는 얼굴 정보를 생성하는 단계; 및
    상기 생성된 피부색 정보와 얼굴 정보로부터 상기 입력된 멀티미디어의 피부색 및 얼굴 기반 특징을 생성하는 단계
    를 포함하는 피부색 및 얼굴 기반 유해 멀티미디어 차단 방법.
  12. 제7항에 있어서, 상기 피부색 및 얼굴 기반 유무해 특징과 상기 입력된 멀티미디어의 피부색 및 얼굴 기반 특징은 동일한 방식으로 생성되는 피부색 및 얼굴 기반 유해 멀티미디어 차단 방법.
KR1020090123422A 2009-12-11 2009-12-11 피부색과 얼굴 정보 기반 유해 멀티미디어 차단 장치 및 방법 KR20110066676A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020090123422A KR20110066676A (ko) 2009-12-11 2009-12-11 피부색과 얼굴 정보 기반 유해 멀티미디어 차단 장치 및 방법
US12/965,310 US20110142346A1 (en) 2009-12-11 2010-12-10 Apparatus and method for blocking objectionable multimedia based on skin color and face information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090123422A KR20110066676A (ko) 2009-12-11 2009-12-11 피부색과 얼굴 정보 기반 유해 멀티미디어 차단 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20110066676A true KR20110066676A (ko) 2011-06-17

Family

ID=44142985

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090123422A KR20110066676A (ko) 2009-12-11 2009-12-11 피부색과 얼굴 정보 기반 유해 멀티미디어 차단 장치 및 방법

Country Status (2)

Country Link
US (1) US20110142346A1 (ko)
KR (1) KR20110066676A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10970523B2 (en) 2017-12-15 2021-04-06 Hyperconnect, Inc. Terminal and server for providing video call service

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9824313B2 (en) * 2015-05-01 2017-11-21 Flipboard, Inc. Filtering content in an online system based on text and image signals extracted from the content
US9967266B2 (en) 2015-11-09 2018-05-08 Flipboard, Inc. Pre-filtering digital content in a digital content system
CN106569658B (zh) * 2016-10-19 2020-04-14 武汉悦然心动网络科技有限公司 输入法的多媒体主题配置方法及系统
KR102587254B1 (ko) 2016-10-31 2023-10-13 한국전자통신연구원 Ｃｎｎ과 ｒｎｎ을 이용한 얼굴인식 기반 키 생성 방법 및 장치
US10810726B2 (en) * 2019-01-30 2020-10-20 Walmart Apollo, Llc Systems and methods for detecting content in images using neural network architectures
US10922584B2 (en) 2019-01-30 2021-02-16 Walmart Apollo, Llc Systems, methods, and techniques for training neural networks and utilizing the neural networks to detect non-compliant content
US11758069B2 (en) 2020-01-27 2023-09-12 Walmart Apollo, Llc Systems and methods for identifying non-compliant images using neural network architectures

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7212668B1 (en) * 2000-08-18 2007-05-01 Eastman Kodak Company Digital image processing system and method for emphasizing a main subject of an image
US6751348B2 (en) * 2001-03-29 2004-06-15 Fotonation Holdings, Llc Automated detection of pornographic images
US7333653B2 (en) * 2003-08-29 2008-02-19 Hewlett-Packard Development Company, L.P. Detecting and correcting redeye in an image
KR20070008210A (ko) * 2005-07-13 2007-01-17 한국전자통신연구원 유해 멀티미디어 정보 차단 방법 및 장치
KR101303877B1 (ko) * 2005-08-05 2013-09-04 삼성전자주식회사 얼굴 검출과 피부 영역 검출을 적용하여 피부의 선호색변환을 수행하는 방법 및 장치
KR100799557B1 (ko) * 2005-10-27 2008-01-31 한국전자통신연구원 동영상의 비주얼 특징을 이용한 유해 동영상 판별함수 생성및 판별 방법 그리고 그 장치
US8358837B2 (en) * 2008-05-01 2013-01-22 Yahoo! Inc. Apparatus and methods for detecting adult videos
US8406482B1 (en) * 2008-08-28 2013-03-26 Adobe Systems Incorporated System and method for automatic skin tone detection in images
US20110150328A1 (en) * 2009-12-21 2011-06-23 Electronics And Telecommunications Research Institute Apparatus and method for blockiing objectionable image on basis of multimodal and multiscale features
US8644606B2 (en) * 2011-01-24 2014-02-04 Steven White Method for visual image detection
US8995775B2 (en) * 2011-05-02 2015-03-31 Facebook, Inc. Reducing photo-tagging spam

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10970523B2 (en) 2017-12-15 2021-04-06 Hyperconnect, Inc. Terminal and server for providing video call service

Also Published As

Publication number Publication date
US20110142346A1 (en) 2011-06-16

Similar Documents

Publication Publication Date Title
US20200342314A1 (en) Method and System for Detecting Fake News Based on Multi-Task Learning Model
KR20110066676A (ko) 피부색과 얼굴 정보 기반 유해 멀티미디어 차단 장치 및 방법
US10073834B2 (en) Systems and methods for language feature generation over multi-layered word representation
US9923860B2 (en) Annotating content with contextually relevant comments
US10516701B2 (en) Natural language processing artificial intelligence network and data security system
US20110150328A1 (en) Apparatus and method for blockiing objectionable image on basis of multimodal and multiscale features
KR101384317B1 (ko) 멀티모달 및 멀티스케일 특징 기반 유해 영상 차단 장치 및 방법
CN108921002B (zh) 基于多线索融合的暴恐音视频识别方法及装置
US20130236070A1 (en) Automatic face detection and parental approval in images and video and applications thereof
US11636682B2 (en) Embedding contextual information in an image to assist understanding
US20160134649A1 (en) Cognitive Detection of Malicious Documents
CN107948730B (zh) 基于图片生成视频的方法、装置、设备及存储介质
WO2022082036A1 (en) Audiovisual deepfake detection
CN114495128A (zh) 字幕信息检测方法、装置、设备以及存储介质
CN112837202B (zh) 基于隐私保护的水印图像的生成、攻击溯源方法及装置
Karappa et al. Detection of sign-language content in video through polar motion profiles
CN114840477B (zh) 一种基于云会议的文件敏感指数确定方法及相关产品
KR102633826B1 (ko) 지식베이스 데이터 기반 스미싱 탐지 방법 및 장치
US11501319B2 (en) Control point compliance prediction based on regulation in multi-media
Raj et al. Fake News Detection
Mircoli et al. Automatic extraction of affective metadata from videos through emotion recognition algorithms
Sun et al. ZoomP3: Privacy-Preserving Publishing of Online Video Conference Recordings
KR20150073429A (ko) 유해영상 분석 시스템
KR102619522B1 (ko) 인공지능 기반의 기밀정보 유출 탐지 방법 및 장치
CN117251551B (zh) 一种基于大语言模型的自然语言处理系统及方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application