KR20110080224A - 유해 동영상 검출장치 및 그 방법 - Google Patents

유해 동영상 검출장치 및 그 방법 Download PDF

Info

Publication number
KR20110080224A
KR20110080224A KR1020100000350A KR20100000350A KR20110080224A KR 20110080224 A KR20110080224 A KR 20110080224A KR 1020100000350 A KR1020100000350 A KR 1020100000350A KR 20100000350 A KR20100000350 A KR 20100000350A KR 20110080224 A KR20110080224 A KR 20110080224A
Authority
KR
South Korea
Prior art keywords
harmful
skin
frame
harmfulness
unit
Prior art date
Application number
KR1020100000350A
Other languages
English (en)
Other versions
KR101062672B1 (ko
Inventor
고건
유영수
Original Assignee
(주)필링크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)필링크 filed Critical (주)필링크
Priority to KR1020100000350A priority Critical patent/KR101062672B1/ko
Publication of KR20110080224A publication Critical patent/KR20110080224A/ko
Application granted granted Critical
Publication of KR101062672B1 publication Critical patent/KR101062672B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 유해 동영상 검출장치 및 그 방법에 관한 것으로, 멀티미디어 실시간 스트리밍, 저장공간에 존재하는 멀티미디어 파일, 저장공간으로부터 재생되는 멀티미디어 파일 등의 다양한 형태의 멀티미디어 서비스에 대해 순차 프레임 처리 기법을 사용하고 그 기법에서 생성된 특징벡터를 통해 유해도를 분류함으로써 실시간으로 유해 멀티미디어 서비스를 분류하고 차단하는 유해 동영상 검출장치 및 그 방법을 제공함에 그 목적이 있다.
본 발명을 적용하면, 동영상 데이터의 유해 등급을 빠르고 정확하게 분류할 수 있으며, 유해도에 따른 구조적인 세밀화를 도모하여 연령별 유해도를 분류할 수 있고, 색상 변조에 강인하게 대응할 수 있으며, 유해 영상으로부터 추출한 특징벡터를 통해 SVM 등을 이용하여 보다 빠르게 유해도를 분류하고 차단할 수 있다는 장점이 있다.

Description

유해 동영상 검출장치 및 그 방법{OBSCENE CONTENTS FILTERING APPARATUS AND METHOD OF THE SAME}
본 발명은 유해 동영상 검출장치 및 그 방법에 관한 것으로, 보다 상세하게 멀티미디어 실시간 스트리밍, 저장공간에 존재하는 멀티미디어 파일, 저장공간으로부터 재생되는 멀티미디어 파일 등의 다양한 형태의 멀티미디어 서비스에 대해 순차 프레임 처리 기법을 사용하고 그 기법에서 생성된 특징벡터를 통해 유해도를 분류함으로써 실시간으로 유해 멀티미디어 서비스를 분류하고 차단하는 유해 동영상 검출장치 및 그 방법에 관한 것이다.
주지된 바와 같이, 최근 인터넷의 확산과 네트워크 전송 속도의 증가로 인하여 AOD (Audio on Demand), VOD (Video On Demand), ELearning, Online-media 등과 같은 실시간 멀티미디어 서비스와 멀티미디어 데이터를 P2P, 인터넷 등을 통해서 전송받은 후 PC에 저장, 재생하는 비 실시간 멀티미디어 서비스가 증가하고 있다. 이 중에서 사이버 교육, 온라인 뉴스, 온라인 영화관 등은　사회적, 경제적, 학문적인 측면에서 긍정적인 면을 제공하지만, 상업적 목적으로 운용되는 유해 멀티미디어서비스 등은 청소년 또는 판단력과 자제력이 부족한 인터넷 사용자들에게 악영향을 미쳐 사회 문제가 되고 있다.
특히 멀티미디어 서비스의 경우 기존의 문자 정보 서비스에 비해 사용자에게 미치는 영향력 및 파급 효과가 크기 때문에 청소년 또는 원치 않는 사용자들이 유해 멀티미디어 정보에 노출되지 않도록 하는 멀티미디어 유해 정보 차단 방법이 필요하다.
종래에 멀티미디어 서비스의 유해성을 판단하는 방법으로는 서비스의 내용 보다는 서비스 명, 또는 서비스의 헤더에 존재하는 설명 등의 부가적인 텍스트 정보를 사용하여 유해어 사전과 키워드 매칭을 하는 방법이 주류를 이루었다. 이러한 방법들은 유해 멀티미디어 서비스의 내용에 따른 판단 방법이 아니어서, 내용의 변경 없이 손쉽게 유해 판단 방법을 회피할 수 있는 방법들이 존재하여 큰 효과를 거두기 힘들었다. 이러한 문제점을 해결하기 위해서 멀티미디어 서비스의 데이터 전체를 수신하고, 전체 데이터로부터 특징(특정 색깔의 존재 비율 등)을 추출하여 분석하는 방법으로 멀티미디어 서비스의 유해성을 판별하려는 방법이 등장하였다. 이 방법의 경우 멀티미디어 서비스의 데이터를 전부 수신한 후 분석해야 하기 때문에 큰 저장공간과 유해성 판정에 많은 시간이 소요되는 단점이 있었다. 또한 유해성 판정에 있어서 매우 간단한 특징을 사용하였기 때문에 분류 성능이 낮았다. 더욱이 유해 멀티미디어 데이터가 이미 사용자에게 완전히 노출된 이후에 판정이 이루어지는 문제점이 있다. 이러한 문제점을 극복하는 방법으로 실시간으로 데이터를 수신한 다음, 데이터를 하나씩 처리하여 유해성을 판정하고 차단하는 방법이 있다. 그러나, 이 방법은 검사 시점의 데이터에 대한 간단한 특징을 유해성 판단에 사용하여 분류 성능이 떨어질 뿐만 아니라 지금까지 수신한 데이터의 연속적인 특성을 반영하지 못하여 무해를 유해로 오인하거나 유해를 무해로 판단하여 사용자에게 노출하는 등의 문제점이 있다.
또한, 특정한 색상(예컨대, 살색 등) 등의 검출 여부를 바탕으로 유해의 판단 기준이 설정되게 되므로, 색상이 흑백 영상으로 변조되는 경우 데이터의 유해성 판단에 한계가 있다는 문제점이 있었다.
본 발명은 상기한 종래 기술의 사정을 감안하여 이루어진 것으로, 멀티미디어 실시간 스트리밍, 저장공간에 존재하는 멀티미디어 파일, 저장공간으로부터 재생되는 멀티미디어 파일 등의 다양한 형태의 멀티미디어 서비스에 대해 순차 프레임 처리 기법을 사용하고 그 기법에서 생성된 특징벡터를 통해 유해도를 분류함으로써 실시간으로 유해 멀티미디어 서비스를 분류하고 차단하는 유해 동영상 검출장치 및 그 방법을 제공함에 그 목적이 있다.
상기한 목적을 달성하기 위해, 본 발명의 바람직한 실시예에 따르면 입력되는 비디오신호에서 프레임을 추출하는 프레임 추출부와; 추출된 프레임에서 피부 영역을 추출하는 유해 피부 검출부와; 추출된 피부 영역에서 통계적 분석기법을 통해 피부 영역의 유해 지수를 추출하여 대용량으로 학습된 유해 분류모델 학습부를 통해 유해도를 최종 확정하는 유해도 판단부와; 상기 유해도 판단부를 통해 배열된 유해도 배열로부터 특징값을 생성하는 비디오 유해 특징 추출부와; 상기 비디오 유해 특징 추출부를 통해 생성된 특징값들의 쌍으로 단일의 벡터를 구성하며, 그로써 생성된 다수의 벡터들을 유클리디안 거리 행렬의 연산을 통해 비유사도를 측정하고, 그 기반으로 유해 동영상을 분리하는 비유사도 기반 분류부와; 상기 유해 등급이 소정의 기준 유해 등급에 속하면 서비스를 중단시키는 유해정보 차단부;를 포함하는 것을 특징으로 하는 유해 동영상 검출장치가 제공된다.
바람직하게, 상기 프레임 추출부는 일정 재생시간마다 주기적으로 프레임을 추출하거나, 다른 장치와의 연동으로 유해 특징이 선검출될 때 해당 비디오신호로부터 프레임을 추출할 수 있게 된 것을 특징으로 하는 유해 동영상 검출장치가 제공된다.
바람직하게, 상기 유해 피부 검출부는 추출된 프레임에서 피부 영역을 추출하는 피부 검출부와; 피부영역이 추출된 프레임에서 얼굴 영역을 제거하는 얼굴영역 제거부로 이루어진 것을 특징으로 하는 유해 동영상 검출장치가 제공된다.
바람직하게, 상기 유해도 판단부는 피부 영역의 분포로 프레임의 유해도를 평가하는 피부분포 필터링부와; 성기의 영역을 검출하여 유해도를 판별하는 성기 검출부로 이루어지고, 그 피부분포 필터링부와 성기 검출부를 통해 최종 유해도(COD)를 연산하는 것을 특징으로 하는 유해 동영상 검출장치가 제공된다.
바람직하게, 상기 비디오 유해 특징 추출부는 유해도를 판별하기 위한 6개의 특징값을 연산하며; 제 1 특징값은 각 프레임별 유해도의 평균값, 제 2 특징값은 각 프레임별 유해도의 표준편차, 제 3 특징값은 연속적으로 유해로 판별되는 패턴의 최장 길이에 대한 비율, 제 4 특징값은 연속적으로 무해로 판별되는 패턴의 최장 길이에 대한 비율, 제 5 특징값은 연속된 유해 판별 패턴의 평균 길이, 제 6 특징값은 연속된 무해 판별 패턴의 평균 길이인 것을 특징으로 하는 유해 동영상 검출장치가 제공된다.
바람직하게, 상기 비유사도 기반 분류부는 유해 동영상으로 판별된 데이터에서 특징값을 추출하여 SVM을 포함하는 기계학습을 수행함으로써 다수의 동영상으로부터 유해 동영상을 분리할 수 있게 구성 가능한 것을 특징으로 하는 유해 동영상 검출장치가 제공된다.
바람직하게, 상기 피부분포 필터링부는 피부영역으로 추출된 영역을 Morphology 처리하여 피부 이외의 잡음을 제거하며, 최종적으로 피부로 판별된 영역을 Pyramid quad-tree 구조를 이용하여 특징벡터를 추출하는 구성인 것을 특징으로 하는 유해 동영상 검출장치가 제공된다.
바람직하게, 상기 성기검출부는 색상 변조 현상을 피하기 위해 각 프레임 이미지를 흑백 이미지로 변환하는 색상 변환부와 연결되어, 그 색상 변환부를 통해 우선 각 프레임의 이미지를 흑백 이미지로 변환한 후, 성기 포함여부를 검출하는 것을 특징으로 하는 유해 동영상 검출장치가 제공된다.
바람직하게, 상기 성기 검출부는 흑백 이미지로 변환된 이미지 데이터를 Harr-like feature를 이용한 Adboost Rapid Object Detector에 적용하여 성기를 검출하며, cascade detecting algorithm을 사용하는 것을 특징으로 하는 유해 동영상 검출장치가 제공된다.
바람직하게, 상기 피부 분포 필터링부는 통계적 분석기법을 통해 피부 영역의 유해 지수(SOD)를 추출하고, 추출된 피부 영역 유해지수(SOD)를 무해한 피부영역과 유해한 피부영역에서 추출된 유해 지수에 적용하여 대용량으로 학습된 분류기를 통해 해당 프레임에 대한 피부 유해도(SOD)를 확정하는 것을 특징으로 하는 유해 동영상 검출장치가 제공된다.
바람직하게, 상기 성기검출부는 프레임에 포함된 성기의 크기, 위치, 종류, 개수를 기반으로 유해 지수를 추출하고, 추출된 성기 유해지수를 무해한 이미지와 유해한 이미지에서 대용량으로 학습된 분류기를 이용하여 해당 프레임에 대한 성기 유해도(SOOD)를 최종적으로 확정하는 것을 특징으로 하는 유해 동영상 검출장치가 제공된다.
바람직하게, 상기 최종 유해도(COD)는 (피부 유해도 가중치ㅧ 피부 유해도)+(성기 유해도 가중치ㅧ 성기 유해도)이며, 피부 유해도 가중치와 성기 유해도 가중치는 다수의 비디오데이터로부터 학습된 학습 모델값인 것을 특징으로 하는 유해 동영상 검출장치가 제공된다.
한편, 본 발명은 입력되는 비디오신호에서 프레임을 추출하는 제 1과정과; 추출된 프레임에서 유해 피부 영역을 추출하는 제 2과정과; 추출된 피부 영역에서 통계적 분석기법을 통해 피부 영역의 유해 지수를 추출하고, 대용량으로 학습된 유해 분류모델 학습부를 통해 유해도를 최종 확정하는 제 3과정과; 상기 유해도 판단과정을 통해 배열된 유해도 배열로부터 유해 특징값을 생성하는 제 4과정과; 생성된 특징값들의 쌍으로 단일의 벡터를 구성하며, 그로써 생성된 다수의 벡터들을 유클리디안 거리 행렬의 연산을 통해 비유사도를 측정하고, 그 기반으로 유해 동영상을 분리하는 제 5과정과; 유해 등급이 소정의 기준 유해 등급에 속하면 서비스를 중단시키는 제 6과정을 포함하여 이루어진 것을 특징으로 하는 유해 동영상 검출방법이 제공된다.
바람직하게, 상기 제 2과정은 추출된 프레임에서 피부 영역을 추출하는 과정과; 피부영역이 추출된 프레임에서 얼굴 영역을 제거하는 과정으로 이루어진 것을 특징으로 하는 유해 동영상 검출방법이 제공된다.
바람직하게, 상기 제 3과정은 피부 영역의 분포로 프레임의 유해도를 평가하는 과정과; 성기의 영역을 검출하여 유해도를 판별하는 과정으로 이루어져 그 피부분포 필터링부와 성기 검출부를 통해 최종 유해도(COD)를 연산하는 과정인 것을 특징으로 하는 유해 동영상 검출방법이 제공된다.
바람직하게, 상기 성기 유해도 판별과정은 그 전처리 과정으로 색상 변조 현상을 피하기 위해 각 프레임 이미지를 흑백 이미지로 변환하는 과정이 더 포함된 것을 특징으로 하는 유해 동영상 검출방법이 제공된다.
본 발명에 따른 유해 동영상 검출장치 및 그 방법은 동영상 데이터의 유해 등급을 빠르고 정확하게 분류할 수 있으며, 유해도에 따른 구조적인 세밀화를 도모하여 연령별 유해도를 분류할 수 있고, 색상 변조에 강인하게 대응할 수 있으며, 유해 영상으로부터 추출한 특징벡터를 통해 SVM 등을 이용하여 보다 빠르게 유해도를 분류하고 차단할 수 있다는 장점이 있다.
도 1은 본 발명의 일실시예에 따른 유해 동영상 검출장치의 구성을 도시한 블록 구성도,
도 2는 본 발명의 일실시예에 따른 유해 동영상 검출장치에 포함된 유해 피부 검출부의 상세 구성을 도시한 블록도,
도 3은 본 발명의 일실시예에 따른 유해 동영상 검출장치에 포함된 유해도 판단부의 상세 구성을 도시한 블록도,
도 4는 본 발명의 일실시예에 따른 유해 동영상 검출장치를 통한 특징벡터의 추출 상태를 시각적으로 도시한 도면,
도 5는 본 발명의 일실시예에 따른 유해 동영상 검출장치를 통한 최종 유해도의 배열 상태를 시각적으로 도시한 도면,
도 6은 본 발명의 일실시예에 따른 유해 동영상 검출장치를 통한 특징값들간 상관도를 시각적으로 도시한 도면,
도 7은 본 발명의 일실시예에 따른 유해 동영상 검출장치를 통한 비유사도 스페이스를 시각적으로 도시한 도면이다.
이하, 본 발명에 대해 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 유해 동영상 검출장치의 구성을 도시한 블록 구성도, 도 2는 본 발명의 일실시예에 따른 유해 동영상 검출장치에 포함된 유해 피부 검출부의 상세 구성을 도시한 블록도, 도 3은 본 발명의 일실시예에 따른 유해 동영상 검출장치에 포함된 유해도 판단부의 상세 구성을 도시한 블록도이다.
이를 참조하면, 본 발명의 일실시예에 따른 유해 동영상 검출장치는 멀티미디어 실시간 스트리밍, 저장공간에 존재하는 멀티미디어 파일, 저장공간으로부터 재생되는 멀티미디어 파일 등의 다양한 형태의 멀티미디어 서비스에 대해 순차 프레임 처리 기법을 사용하고 그 기법에서 생성된 특징벡터를 통해 유해도를 분류함으로써 실시간으로 유해 멀티미디어 서비스를 분류하고 차단하는 장치이다.
보다 상세하게, 본 발명의 일실시예에 따른 유해 동영상 검출장치는 신규로 비디오 신호를 입력하는 비디오 신호 입력부(10)와; 입력되는 비디오신호에서 프레임을 추출하는 프레임 추출부(20)와; 추출된 프레임에서 피부 영역을 추출하는 유해 피부 검출부(30)와; 추출된 피부 영역에서 통계적 분석기법을 통해 피부 영역의 유해 지수를 추출하여 대용량으로 학습된 유해 분류모델 학습부를 통해 유해도를 최종 확정하는 유해도 판단부(40)와; 상기 유해도 판단부(40)를 통해 배열된 유해도 배열로부터 특징값을 생성하는 비디오 유해 특징 추출부(50)와; 상기 비디오 유해 특징 추출부(50)를 통해 생성된 특징값들의 쌍으로 단일의 벡터를 구성하며, 그로써 생성된 다수의 벡터들을 유클리디안 거리 행렬의 연산을 통해 비유사도를 측정하고, 그 기반으로 유해 동영상을 분리하는 비유사도 기반 분류부(60)와; 상기 유해 등급이 소정의 기준 유해 등급에 속하면 서비스를 중단시키는 유해정보 차단부(70);를 포함하는 것을 특징으로 한다.
이때, 상기 프레임 추출부(20)는 일정 재생시간마다 주기적으로 프레임을 추출할 수도 있으며, 다른 특정한 규칙에 의해 프레임을 추출하는 것이 가능한 바, 특정한 규칙이란 예컨대, 다른 장치와의 연동으로 유해 특징이 선검출될 때 해당 비디오신호로부터 해당 프레임을 추출하여 후검출 처리를 수행하도록 하는 것이 가능하다.
한편, 상기 유해 피부 검출부(30)는 추출된 프레임에서 피부 영역을 추출하는 피부 검출부(32)와; 피부영역이 추출된 프레임에서 얼굴 영역을 제거하는 얼굴영역 제거부(34)로 이루어지는 바, 피부 검출부(32)를 통해 프레임에서 피부 영역을 선추출하고, 선추출된 피부 영역내에 포함된 얼굴 영역을 제거함으로써 유해 판단의 대상이 되는 인체의 몸에 관련된 영역만을 검출할 수 있도록 한다.
또한, 상기 유해도 판단부(40)는 피부 영역의 분포로 프레임의 유해도를 평가하는 피부분포 필터링부(42: 제 1유해도 판단부임.)와; 성기의 영역을 검출하여 유해도를 판별하는 성기 검출부(44: 제 2유해도 판단부임.)로 이루어지고, 그 피부분포 필터링부(42)와 성기 검출부(44)를 통해 최종 유해도(COD)를 연산하게 된다.
이때, 상기 피부분포 필터링부(42)는 피부영역으로 추출된 영역을 Morphology 처리하여 피부 이외의 잡음을 제거하며, 최종적으로 피부로 판별된 영역을 Pyramid quad-tree 구조를 이용하여 특징벡터를 추출하게 된다. 추출된 특징벡터는 도 4에 도시된 바와 같이 트리구조로 세분화되면서 추출되게 된다.
또한, 상기 성기검출부(44)는 색상 변조 현상을 피하기 위해 각 프레임 이미지를 흑백 이미지로 변환하는 색상 변환부(80)와 연결되어, 그 색상 변환부(80)를 통해 우선 각 프레임의 이미지를 흑백 이미지로 변환한 후, 성기 포함여부를 검출한다.
흑백으로의 색상 변환이 완료되면, 상기 성기 검출부(44)는 흑백 이미지로 변환된 이미지 데이터를 Harr-like feature를 이용한 Adboost Rapid Object Detector에 적용하여 성기를 검출하며, cascade detecting algorithm을 사용하여 신속한 검출이 이루어지도록 하는 것이 바람직하다.
즉, 상기 성기 검출부(44)는 사람의 가슴, 남성 성기, 여성 성기, 성교 장면에 포함된 성기 등 다양한 형태의 성기영역을 탐색하기 위한 모듈로서, 성기를 여러 가지 경우로 분류하여 검출하게 되면, 유해도에 대한 판별을 세밀하게 할 수 있으며, 15세 금지, 19세 금지 등의 유해도 등급을 세밀하게 분류하는 것이 가능해진다.
성기의 검출이 완료되면, 상기 유해도 판단부(40)는 상기 피부 분포 필터링부(42)를 통해 통계적 분석기법으로 피부 영역의 유해 지수(SOD: Skin Obscene Degree)를 추출하고, 추출된 피부 영역 유해지수(SOD)를 무해한 피부영역과 유해한 피부영역에서 추출된 유해 지수에 적용하여 대용량으로 학습된 분류기를 통해 해당 프레임에 대한 피부 유해도(SOD)를 확정하게 된다.
그리고, 상기 유해도 판단부(40)는 상기 성기 검출부(44)를 통해 프레임에 포함된 성기의 크기, 위치, 종류, 개수를 기반으로 유해 지수를 추출하고, 추출된 성기 유해지수를 무해한 이미지와 유해한 이미지에서 대용량으로 학습된 분류기를 이용하여 해당 프레임에 대한 성기 유해도(SOOD: Sexual Organ Obscene Degree)를 최종적으로 확정할 수 있다.
다음으로, 상기 유해도 판단부(40)는 상기 피부 유해도(SOD)와 성기 유해도(SOOD)의 상호 연관성을 이용하여 최종유해도(COD: Comprehensive Obscene Degree)를 도출할 수 있는 바, 상기 최종 유해도(COD)는 (피부 유해도 가중치ㅧ 피부 유해도)+(성기 유해도 가중치ㅧ 성기 유해도)이다. 즉, COD=WeightSODㅧ SOD+WeightSOODㅧ SOOD이다.
이때, 피부 유해도 가중치(WeightSOD)와 성기 유해도 가중치(WeightSOOD)는 다수의 비디오데이터로부터 학습된 학습 모델값이다.
상기 최종 유해도(COD)가 확정되면, 상기 유해도 판단부(40)는 도 5에 도시된 바와 같이, 프레임별 최종 유해도(COD)를 프레임 순서대로 나열한다.
한편, 상기 비디오 유해 특징 추출부(50)는 피부 영역의 유해 지수(SOD: Skin Obscene Degree) 및 성기 유해도(SOOD: Sexual Organ Obscene Degree)로부터 생성된 유해도 배열로부터 해당 동영상의 최종 유해도(COD)를 판단할 수 있는 6개의 특징값을 연산한다.
제 1 특징값(F1)은 유해로 판별할 수 있는 패턴(Expectation of Obscene Degree)인지의 여부를 판단하는 특징값이며, 각 프레임별 유해도의 평균값이고, 아래의 식 1과 같다.
[식 1]
Figure pat00001
P(rk): 유해도(rk)의 확률.
rk:유해도.
E(r):유해도 평균.
제 2 특징값(F2)은 비정상적인 유해도 패턴(Standard of Obscene Degree)인지를 판단하는 특징값이며, 아래 식 2의 프레임별 유해도 표준편차를 통해 연산된다.
[식 2]
Figure pat00002
P(rk): 유해도(rk)의 확률.
rk:유해도.
E(r):유해도 평균.
Std(r):유해도 표준편차.
제 3 특징값(F3)은 연속적으로 유해로 판별되는 패턴의 최장 길이에 대한 비율(Proportion of Longest Successive Obscene)이고, 아래의 식 3으로 연산된다.
[식 3]
F3=MSOC/TC
MSOC: Maximum Successive Obscene Frame Count
TC: Total Frame Count
제 4 특징값(F4)은 연속적으로 무해로 판별되는 패턴의 최장 길이에 대한 비율(Proportion of Longest Successive Normal Frame Segment)이고, 아래 식 4로 연산된다.
[식 4]
F4=MSNC/TC
MSNC: Maximum Successive Normal Frame Count
TC: Total Frame Count
제 5 특징값(F5)은 연속된 유해 판별 패턴의 평균 길이(Average Length of Successive Obscene Frame Segment)이며, 아래의 식 5를 통해 연산된다.
[식 5]
F5=OC/SOSC
OC: Obscene Frame Count
SOSC: Successive Obscene Frame Segment Count
제 6 특징값(F6)은 연속된 무해 판별 패턴의 평균 길이(Average Length of Successive Normal Frame Segment)이며, 아래 식 6을 통해 연산된다.
[식 6]
F6=OC/SNSC
OC: Obscene Frame Count
SNSC: Successive Normal Frame Segment
한편, 상기 비유사도 기반 분류부(60)는 유해 동영상으로 판별된 데이터에서 특징값을 추출하여 SVM을 포함하는 기계학습을 수행함으로써 다수의 동영상으로부터 유해 동영상을 분리할 수 있게 하는 것이 가능하다.
한편, 본 발명의 실시예에 따른 유해 동영상 검출장치 및 그 방법은 단지 상기한 실시예에 한정되는 것이 아니라 그 기술적 요지를 이탈하지 않는 범위내에서 다양한 변경이 가능하다.
*도면의 주요부분에 대한 부호의 설명*
10:비디오 신호입력부, 20:프레임 추출부,
30:유해피부 검출부, 40:유해도 판단부,
50:비디오 유해특징 추출부, 60:비유사도 기반 분류부,
70:유해정보 차단부, 80:색상 변환부,
90:유해분류모델 학습부, 100:유클리디안 거리행렬 연산모듈.

Claims (16)

  1. 입력되는 비디오신호에서 프레임을 추출하는 프레임 추출부와;
    추출된 프레임에서 피부 영역을 추출하는 유해 피부 검출부와;
    추출된 피부 영역에서 통계적 분석기법을 통해 피부 영역의 유해 지수를 추출하여 대용량으로 학습된 유해 분류모델 학습부를 통해 유해도를 최종 확정하는 유해도 판단부와;
    상기 유해도 판단부를 통해 배열된 유해도 배열로부터 특징값을 생성하는 비디오 유해 특징 추출부와;
    상기 비디오 유해 특징 추출부를 통해 생성된 특징값들의 쌍으로 단일의 벡터를 구성하며, 그로써 생성된 다수의 벡터들을 유클리디안 거리 행렬의 연산을 통해 비유사도를 측정하고, 그 기반으로 유해 동영상을 분리하는 비유사도 기반 분류부와;
    상기 유해 등급이 소정의 기준 유해 등급에 속하면 서비스를 중단시키는 유해정보 차단부;를 포함하는 것을 특징으로 하는 유해 동영상 검출장치.
  2. 제 1항에 있어서, 상기 프레임 추출부는 일정 재생시간마다 주기적으로 프레임을 추출하거나, 다른 장치와의 연동으로 유해 특징이 선검출될 때 해당 비디오신호로부터 프레임을 추출할 수 있게 된 것을 특징으로 하는 유해 동영상 검출장치.
  3. 제 1항에 있어서, 상기 유해 피부 검출부는,
    추출된 프레임에서 피부 영역을 추출하는 피부 검출부와;
    피부영역이 추출된 프레임에서 얼굴 영역을 제거하는 얼굴영역 제거부로 이루어진 것을 특징으로 하는 유해 동영상 검출장치.
  4. 제 1항에 있어서, 상기 유해도 판단부는,
    피부 영역의 분포로 프레임의 유해도를 평가하는 피부분포 필터링부와;
    성기의 영역을 검출하여 유해도를 판별하는 성기 검출부로 이루어지고, 그 피부분포 필터링부와 성기 검출부를 통해 최종 유해도(COD)를 연산하는 것을 특징으로 하는 유해 동영상 검출장치.
  5. 제 1항에 있어서, 상기 비디오 유해 특징 추출부는,
    유해도를 판별하기 위한 6개의 특징값을 연산하며;
    제 1 특징값은 각 프레임별 유해도의 평균값, 제 2 특징값은 각 프레임별 유해도의 표준편차, 제 3 특징값은 연속적으로 유해로 판별되는 패턴의 최장 길이에 대한 비율, 제 4 특징값은 연속적으로 무해로 판별되는 패턴의 최장 길이에 대한 비율, 제 5 특징값은 연속된 유해 판별 패턴의 평균 길이, 제 6 특징값은 연속된 무해 판별 패턴의 평균 길이인 것을 특징으로 하는 유해 동영상 검출장치.
  6. 제 1항에 있어서, 상기 비유사도 기반 분류부는,
    유해 동영상으로 판별된 데이터에서 특징값을 추출하여 SVM을 포함하는 기계학습을 수행함으로써 다수의 동영상으로부터 유해 동영상을 분리할 수 있게 구성 가능한 것을 특징으로 하는 유해 동영상 검출장치.
  7. 제 4항에 있어서, 상기 피부분포 필터링부는 피부영역으로 추출된 영역을 Morphology 처리하여 피부 이외의 잡음을 제거하며, 최종적으로 피부로 판별된 영역을 Pyramid quad-tree 구조를 이용하여 특징벡터를 추출하는 구성인 것을 특징으로 하는 유해 동영상 검출장치.
  8. 제 4항에 있어서, 상기 성기검출부는 색상 변조 현상을 피하기 위해 각 프레임 이미지를 흑백 이미지로 변환하는 색상 변환부와 연결되어, 그 색상 변환부를 통해 우선 각 프레임의 이미지를 흑백 이미지로 변환한 후, 성기 포함여부를 검출하는 것을 특징으로 하는 유해 동영상 검출장치.
  9. 제 8항에 있어서, 상기 성기 검출부는 흑백 이미지로 변환된 이미지 데이터를 Harr-like feature를 이용한 Adboost Rapid Object Detector에 적용하여 성기를 검출하며, cascade detecting algorithm을 사용하는 것을 특징으로 하는 유해 동영상 검출장치.
  10. 제 4항에 있어서, 상기 피부 분포 필터링부는 통계적 분석기법을 통해 피부 영역의 유해 지수(SOD)를 추출하고, 추출된 피부 영역 유해지수(SOD)를 무해한 피부영역과 유해한 피부영역에서 추출된 유해 지수에 적용하여 대용량으로 학습된 분류기를 통해 해당 프레임에 대한 피부 유해도(SOD)를 확정하는 것을 특징으로 하는 유해 동영상 검출장치.
  11. 제 4항에 있어서, 상기 성기검출부는 프레임에 포함된 성기의 크기, 위치, 종류, 개수를 기반으로 유해 지수를 추출하고, 추출된 성기 유해지수를 무해한 이미지와 유해한 이미지에서 대용량으로 학습된 분류기를 이용하여 해당 프레임에 대한 성기 유해도(SOOD)를 최종적으로 확정하는 것을 특징으로 하는 유해 동영상 검출장치.
  12. 제 4항에 있어서, 상기 최종 유해도(COD)는 (피부 유해도 가중치ㅧ 피부 유해도)+(성기 유해도 가중치ㅧ 성기 유해도)이며, 피부 유해도 가중치와 성기 유해도 가중치는 다수의 비디오데이터로부터 학습된 학습 모델값인 것을 특징으로 하는 유해 동영상 검출장치.
  13. 입력되는 비디오신호에서 프레임을 추출하는 제 1과정과;
    추출된 프레임에서 유해 피부 영역을 추출하는 제 2과정과;
    추출된 피부 영역에서 통계적 분석기법을 통해 피부 영역의 유해 지수를 추출하고, 대용량으로 학습된 유해 분류모델 학습부를 통해 유해도를 최종 확정하는 제 3과정과;
    상기 유해도 판단과정을 통해 배열된 유해도 배열로부터 유해 특징값을 생성하는 제 4과정과;
    생성된 특징값들의 쌍으로 단일의 벡터를 구성하며, 그로써 생성된 다수의 벡터들을 유클리디안 거리 행렬의 연산을 통해 비유사도를 측정하고, 그 기반으로 유해 동영상을 분리하는 제 5과정과;
    유해 등급이 소정의 기준 유해 등급에 속하면 서비스를 중단시키는 제 6과정을 포함하여 이루어진 것을 특징으로 하는 유해 동영상 검출방법.
  14. 제 13항에 있어서, 상기 제 2과정은,
    추출된 프레임에서 피부 영역을 추출하는 과정과;
    피부영역이 추출된 프레임에서 얼굴 영역을 제거하는 과정으로 이루어진 것을 특징으로 하는 유해 동영상 검출방법.
  15. 제 13항에 있어서, 상기 제 3과정은,
    피부 영역의 분포로 프레임의 유해도를 평가하는 과정과;
    성기의 영역을 검출하여 유해도를 판별하는 과정으로 이루어져 그 피부분포 필터링부와 성기 검출부를 통해 최종 유해도(COD)를 연산하는 과정인 것을 특징으로 하는 유해 동영상 검출방법.
  16. 제 15항에 있어서, 상기 성기 유해도 판별과정은 그 전처리 과정으로 색상 변조 현상을 피하기 위해 각 프레임 이미지를 흑백 이미지로 변환하는 과정이 더 포함된 것을 특징으로 하는 유해 동영상 검출방법.
KR1020100000350A 2010-01-05 2010-01-05 유해 동영상 검출장치 및 그 방법 KR101062672B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100000350A KR101062672B1 (ko) 2010-01-05 2010-01-05 유해 동영상 검출장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100000350A KR101062672B1 (ko) 2010-01-05 2010-01-05 유해 동영상 검출장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20110080224A true KR20110080224A (ko) 2011-07-13
KR101062672B1 KR101062672B1 (ko) 2011-09-06

Family

ID=44919173

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100000350A KR101062672B1 (ko) 2010-01-05 2010-01-05 유해 동영상 검출장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101062672B1 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101435341B1 (ko) * 2013-08-29 2014-08-27 닉스테크 주식회사 Svm을 이용한 dlp 트레이싱 대상 파일 분류에 관한 방법
CN107403200A (zh) * 2017-08-10 2017-11-28 北京亚鸿世纪科技发展有限公司 改进图像分割算法结合深度学习的多重不良图片分类方法
KR20180129562A (ko) * 2017-05-27 2018-12-05 주식회사 하이퍼커넥트 영상 통화 장치 및 영상 통화 방법
KR102169073B1 (ko) * 2019-09-30 2020-10-22 광운대학교 산학협력단 동영상 유해성 분석 결과 기반 실시간 스트리밍 차단 시스템 및 방법
KR20210133411A (ko) * 2020-04-29 2021-11-08 한국전자통신연구원 스마트 기기에서의 유해 스트리밍 영상 검출 방법, 스마트 기기 및 기계 학습 단말
WO2021227531A1 (zh) * 2020-05-15 2021-11-18 上海哔哩哔哩科技有限公司 基于浏览器的封面生成方法和系统
KR102387441B1 (ko) * 2020-11-11 2022-04-14 광운대학교 산학협력단 유해 동영상 스트리밍 실시간 대응을 위한 동영상 스트림 특성 기반의 스트리밍 제어 시스템
KR20220131701A (ko) * 2021-03-22 2022-09-29 주식회사 하이퍼커넥트 기계 학습 기반 영상 스트림 제공 방법 및 장치

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10349126B2 (en) 2016-12-19 2019-07-09 Samsung Electronics Co., Ltd. Method and apparatus for filtering video

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100687732B1 (ko) 2005-11-24 2007-02-27 한국전자통신연구원 내용 기반 멀티 모달 특징값을 이용한 유해 동영상 차단방법 및 그 장치
KR100882476B1 (ko) 2007-06-14 2009-02-06 유성준 음란성 이미지의 판별 방법과 그 장치

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101435341B1 (ko) * 2013-08-29 2014-08-27 닉스테크 주식회사 Svm을 이용한 dlp 트레이싱 대상 파일 분류에 관한 방법
KR20180129562A (ko) * 2017-05-27 2018-12-05 주식회사 하이퍼커넥트 영상 통화 장치 및 영상 통화 방법
CN107403200A (zh) * 2017-08-10 2017-11-28 北京亚鸿世纪科技发展有限公司 改进图像分割算法结合深度学习的多重不良图片分类方法
KR102169073B1 (ko) * 2019-09-30 2020-10-22 광운대학교 산학협력단 동영상 유해성 분석 결과 기반 실시간 스트리밍 차단 시스템 및 방법
KR20210133411A (ko) * 2020-04-29 2021-11-08 한국전자통신연구원 스마트 기기에서의 유해 스트리밍 영상 검출 방법, 스마트 기기 및 기계 학습 단말
WO2021227531A1 (zh) * 2020-05-15 2021-11-18 上海哔哩哔哩科技有限公司 基于浏览器的封面生成方法和系统
KR102387441B1 (ko) * 2020-11-11 2022-04-14 광운대학교 산학협력단 유해 동영상 스트리밍 실시간 대응을 위한 동영상 스트림 특성 기반의 스트리밍 제어 시스템
KR20220131701A (ko) * 2021-03-22 2022-09-29 주식회사 하이퍼커넥트 기계 학습 기반 영상 스트림 제공 방법 및 장치

Also Published As

Publication number Publication date
KR101062672B1 (ko) 2011-09-06

Similar Documents

Publication Publication Date Title
KR101062672B1 (ko) 유해 동영상 검출장치 및 그 방법
Xue et al. Detecting fake news by exploring the consistency of multimodal data
CN102014295B (zh) 一种网络敏感视频检测方法
CN103218608B (zh) 一种网络暴力视频的识别方法
CN107169106B (zh) 视频检索方法、装置、存储介质及处理器
CN113779308B (zh) 一种短视频检测和多分类方法、装置及存储介质
WO2021082589A1 (zh) 内容审核模型的训练方法和装置、视频内容的审核方法和装置、计算机设备以及存储介质
CN111506773B (zh) 一种基于无监督深度孪生网络的视频去重方法
KR101435778B1 (ko) 비디오 기반 시각적 특징과 다단계 통계적 결합을 이용한 유해 동영상 분류 방법 및 장치
JP2017168057A (ja) 画像分類装置、画像分類システム及び画像分類方法
CN114333070A (zh) 一种基于深度学习的考生异常行为检测方法
JP2019079536A (ja) 連合クラスタリング深層学習ニューラルネットワークに基づくデータ識別方法
CN112188306B (zh) 一种标签生成方法、装置、设备及存储介质
Chen et al. Unsupervised curriculum domain adaptation for no-reference video quality assessment
CN114898432A (zh) 基于多特征融合的伪造人脸视频检测方法及系统
CN111639230B (zh) 一种相似视频的筛选方法、装置、设备和存储介质
CN108830882B (zh) 视频异常行为实时检测方法
Narayan et al. Desi: Deepfake source identifier for social media
Bian et al. Learning multiple explainable and generalizable cues for face anti-spoofing
CN113361474B (zh) 基于图像块特征提取的双流网络图像伪造检测方法及系统
CN104966109A (zh) 医疗化验单图像分类方法及装置
CN104899606B (zh) 一种基于局部学习的信息隐藏检测方法
CN112749605A (zh) 身份识别方法、系统和设备
CN107133644B (zh) 数字化图书馆内容分析系统及方法
Phan et al. A hybrid approach for multimedia use verification

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140725

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160728

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180531

Year of fee payment: 7

R401 Registration of restoration
FPAY Annual fee payment

Payment date: 20180917

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20190902

Year of fee payment: 9