KR101384317B1 - 멀티모달 및 멀티스케일 특징 기반 유해 영상 차단 장치 및 방법 - Google Patents

멀티모달 및 멀티스케일 특징 기반 유해 영상 차단 장치 및 방법 Download PDF

Info

Publication number
KR101384317B1
KR101384317B1 KR1020100107618A KR20100107618A KR101384317B1 KR 101384317 B1 KR101384317 B1 KR 101384317B1 KR 1020100107618 A KR1020100107618 A KR 1020100107618A KR 20100107618 A KR20100107618 A KR 20100107618A KR 101384317 B1 KR101384317 B1 KR 101384317B1
Authority
KR
South Korea
Prior art keywords
feature
harmful
image
multiscale
complexity
Prior art date
Application number
KR1020100107618A
Other languages
English (en)
Other versions
KR20110073238A (ko
Inventor
한승완
임재덕
최병철
정병호
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US12/966,230 priority Critical patent/US20110150328A1/en
Publication of KR20110073238A publication Critical patent/KR20110073238A/ko
Application granted granted Critical
Publication of KR101384317B1 publication Critical patent/KR101384317B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 멀티모달 및 멀티스케일 특징 기반 유해 영상 차단 장치 및 방법에 관한 것이다. 본 발명에 따른 멀티모달 및 멀티스케일 특징 기반 유해 영상 차단 장치는, 영상 학습 데이터로부터 추출되는 멀티모달 정보를 분석하여 멀티스케일 유해 및 무해 특징을 생성하는 멀티스케일 특징 분석부; 상기 생성된 멀티스케일 유해 및 무해 특징을 통계 처리하고 기계 학습을 수행하여 다수준 유해 분류 모델을 생성하는 유해 분류 모델 생성부; 유해성 판별을 위해 입력되는 입력 영상 데이터로부터 추출되는 멀티모달 정보를 분석하여 상기 입력 영상의 멀티스케일 특징중 적어도 하나를 추출하고 상기 추출된 특징을 상기 다수준 유해 분류 모델중 적어도 하나와 비교함으로써 상기 영상의 유해성을 판단하는 유해성 판단부; 및 상기 판단 결과가 유해인 경우 상기 입력 영상을 차단하는 유해 영상 차단부를 포함한다.

Description

멀티모달 및 멀티스케일 특징 기반 유해 영상 차단 장치 및 방법{Apparatus and method for blocking the objectionable multimedia based on multimodal and multiscale features}
본 발명은 멀티모달 및 멀티스케일 특징 기반 유해 영상 차단 장치 및 방법에 관한 것으로, 더욱 상세하게는 이미 알려진 유해 및 무해 영상 학습데이터로부터 색상, 질감, 형태, 피부색, 얼굴, 에지, MPEG-7 기술자, 객체, 객체의미 및 객체 관계 등의 멀티모달(multimodal) 정보를 멀티스케일 단위로 분석하고 특징화하고, 이를 활용하여 유해 분류를 위한 다수준의 복잡도를 갖는 다단계 유해 분류 모델을 생성하고 유해 분류 모델을 이용하여 새롭게 유입되는 영상의 유해성을 판단하여 유해 영상을 차단하는 방법 및 장치에 관한 것이다.
인터넷은 정보의 바다라고 불릴 정도로 다양한 정보들이 존재할 뿐만 아니라 사용이 편리하여, 현대를 살아가는 많은 사람들의 일상생활 일부가 되어 사회적, 경제적, 학문적인 측면에 있어서 긍정적인 면을 제공한다. 그러나 이러한 긍정적인 면에 반하여, 인터넷의 개방성, 상호연결성, 익명성의 특징을 이용한 유해 정보의 무분별한 유포는 심각한 사회 문제로 대두되고 있다. 특히 인터넷에 언제든지 접속이 가능한 청소년들은 이전보다 훨씬 빈번하게 유해 정보에 노출되게 된다. 이러한 환경은 가치 판단력이 떨어지고 자기 통제력이 약한 청소년들을 유혹하여 정서적, 정신적 해악을 끼칠 수 있다. 그러므로 사회적 약자인 청소년 또는 원치 않는 사람들이 유해 정보에 노출되지 않도록 유해 정보를 차단하는 방법이 필요하다.
종래에 유해 영상 차단 방법으로는 메타 데이터 및 텍스트 정보 기반 차단 기법, 해쉬 및 DB 기반 차단 기법, 내용 기반 차단 기법 등이 있다. 메타 데이터 및 텍스트 정보 기반 차단 기법은 영상의 제목, 파일이름, 설명에 포함된 텍스트의 유해성을 분석하여 영상의 유해성을 판단하는 방법으로서, 높은 과차단율 및 오차단율을 나타낸다. 해쉬 및 DB 기반 차단 기법은 기존에 알려진 유해 영상의 해쉬값을 계산하여 데이터베이스화한 후, 입력으로 들어온 새로운 영상의 유해성을 판단하기 위해서는 영상의 해쉬값을 계산한 후 이전에 구축한 데이터베이스와 비교하여 영상의 유해성을 판단하는 방법이다. 이 방법은 유해 영상이 증가하면 할수록 해쉬값 데이터베이스의 크기가 증가할 뿐만 아니라, 영상의 유해성을 판단하는 계산량이 증가하는 문제점을 갖는다. 또한, 이미 알려진 유해 영상라도 약간의 변형을 통해 해쉬값이 변한다면 차단하지 못한다.
최근에 등장한 내용 기반 차단 기법은 유해 영상의 내용을 분석하여 특징을 추출하고, 그 특징으로부터 유해 분류 모델을 생성한 후, 기생성된 유해 분류 모델에 근거하여 입력으로 들어온 영상의 유해성을 판단한다. 이 방법은 메타 데이터 및 텍스트 기반 차단 기법에서 나타나는 높은 과차단율 및 오차단율을 해결하고 해쉬 및 DB 기반 차단 기법의 데이터베이스 크기 및 계산량 문제를 해결하였다.
그러나, 대부분의 내용 기반 차단 기법은 유해 영상의 특징으로 색상(color), 질감(texture), 형태(shape)와 같은 저수준 특징을 사용하거나 영상 검색에 주로 사용되는 MPEG-7 기술자(Descriptor)를 주로 사용한다. 이러한 정보는 유해 영상의 특징을 제대로 반영하지 못하여 낮은 차단율과 높은 오차단율을 보인다. 이러한 문제점을 해결하기 위해, 최근 새로운 접근법에서는 화소(pixel) 단위로 피부색을 탐지하여 영상에서의 피부색과 비피부색 비율 등을 유해성 판단의 특징으로 활용하기도 한다. 그러나, 이러한 특징을 사용하는 접근법도 실제의 유해 영상을 의미적으로 정확하게 묘사하고 축약하기에는 부족하여 이러한 특징을 사용하여 생성된 유해 분류 모델은 여전히 낮은 성능을 보인다. 또한, 영상의 유해 특징을 생성하는 복잡도가 모든 영상에 동일하게 적용되어, 고수준의 유해 특징을 생성하기 위해서는 많은 시간이 소요되는 단점이 있으며, 각기 다른 복잡도를 갖는 영상을 동일하게 처리함으로써 유해 영상 차단 시스템의 전체 성능의 저하를 가져온다.
그러므로, 유해 영상 차단 방법의 과차단율과 오차단율을 낮추고 처리 성능과 속도를 향상시키기 위해서는 영상이 내포하고 있는 멀티모달 정보를 활용하고 영상의 복잡도 수준에 맞는 유해 분류 모델이 적용될 수 있는 멀티스케일 단위의 다단계 유해 영상 필터링을 장착한 유해 영상 차단 방법이 필요하다.
본 발명이 이루고자 하는 기술적 과제는, 영상 학습 데이터로부터 색상, 질감, 형태, 피부색, 얼굴, 에지, MPEG-7 기술자, 객체, 의미 등의 멀티모달 정보를 멀티스케일 단위로 분석하여 특징화하고, 이를 활용하여 다수준의 복잡도를 갖는 유해 분류 모델을 기계 학습을 통해 생성하고, 이와 같이 생성된 다수준 유해 분류 모델을 사용하여 새롭게 입력되는 영상의 유해성을 판단하여 유해 영상을 차단하는 장치 및 방법을 제공하는 데 있다.
본 발명의 일특징에 따른 멀티모달 및 멀티스케일 특징 기반 유해 영상 차단 장치는, 영상 학습 데이터로부터 추출되는 멀티모달 정보를 분석하여 멀티스케일 유해 및 무해 특징을 생성하는 멀티스케일 특징 분석부; 상기 생성된 멀티스케일 유해 및 무해 특징을 통계 처리하고 기계 학습을 수행하여 다수준 유해 분류 모델을 생성하는 유해 분류 모델 생성부; 유해성 판별을 위해 입력되는 입력 영상 데이터로부터 추출되는 멀티모달 정보를 분석하여 상기 입력 영상의 멀티스케일 특징중 적어도 하나를 추출하고 상기 추출된 특징을 상기 다수준 유해 분류 모델중 적어도 하나와 비교함으로써 상기 영상의 유해성을 판단하는 유해성 판단부; 및 상기 판단 결과가 유해인 경우 상기 입력 영상을 차단하는 유해 영상 차단부를 포함한다.
본 발명의 다른 특징에 따른 멀티모달 및 멀티스케일 특징 기반 유해 영상 차단 방법은, 영상 학습 데이터로부터 추출되는 멀티모달 정보를 분석하여 멀티스케일 유해 및 무해 특징을 생성하는 단계; 상기 생성된 멀티스케일 유해 및 무해 특징을 통계 처리하고 기계 학습을 적용하여 다수준 유해 분류 모델을 생성하는 단계; 유해성 판별을 위해 입력되는 입력 영상 데이터의 멀티모달 정보를 분석하여 상기 입력 영상에 대한 멀티스케일 특징중 적어도 하나를 추출하는 단계;상기 입력 영상 데이터로부터 추출된 상기 적어도 하나의 멀티스케일 특징을 상기 다수준 유해 분류 모델중 적어도 하나와 비교함으로써 상기 입력 영상의 유해성을 판단하는 단계; 및 상기 판단 결과가 유해인 경우 상기 입력 영상을 차단하는 단계를 포함한다.
본 발명의 멀티모달 및 멀티스케일 특징 기반 유해 영상 차단 장치 및 방법에 따르면, 영상의 유해성을 판단하기 위해 영상에 포함된 멀티모달 정보를 활용하여 멀티스케일 특징 추출과 다수준 유해 분류 모델 생성을 가능하도록 하였다. 그 결과로써, 영상의 종류 및 범주에 따라 각각의 스케일 에 맞는 다단계 유해 필터링을 수행함으로써 유해 영상 차단에서 발생하는 과차단율과 오차단율을 낮출 수 있을 뿐만 아니라, 유해 영상 차단의 처리 성능을 개선하여 소요 비용을 줄일 수 있다. 또한, 본 발명의 유해 영상 차단 장치 및 방법은 다수준의 유해 분류 모델의 다단계로 적용할 수 있기 때문에, 응용 환경에 따라 영상 분석의 깊이와 유해 영상 차단의 복잡도에 대한 자유로운 조절이 가능하도록 한다.
도 1은 본 발명의 일 실시예에 따른 멀티모달 및 멀티스케일 특징 기반 유해 영상 차단 장치의 구성을 도시한 블록도;
도 2a는 도 1에 도시된 멀티스케일 특징 분석부(110)의 세부 구성을 도시한 블록도이고, 도 2b 내지 도 2d는 도 2a의 거친 알갱이 단위 특징 분석부(1110), 중간 알갱이 단위 특징 분석부(1120) 및 고운 알갱이 단위 특징 분석부(1130) 각각의 세부 구성을 도시한 블록도;
도 3은 도 1에 도시된 유해 분류 모델 생성부(120)의 세부 구성을 도시한 블록도;
도 4는 도 1에 도시된 유해성 판단부(130)의 세부 구성을 도시한 블록도;
도 5는 본 발명의 일 실시예에 따른 멀티모달 및 멀티스케일 특징 기반 유해 영상 차단 방법에 대한 흐름도.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명하겠다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있음을 의미한다.
도 1은 본 발명의 일 실시예에 따른 멀티모달 및 멀티스케일 특징 기반 유해 영상 차단 장치의 구성을 도시한 블록도이다. 도 1에 도시된 바와 같이, 멀티모달 및 멀티스케일 특징 기반 유해 영상 차단 장치(100)는, 멀티스케일 특징 분석부(110), 유해 분류 모델 생성부(120), 유해성 판단부(130) 및 유해 영상 차단부(140)를 포함한다. 영상 학습 데이터는 유해 영상과 무해 영상으로 이루어지며, 영상의 유해성을 모델링하는 데이터로 사용된다.
멀티스케일 특징 분석부(110)는 영상 학습 데이터로부터 색상, 질감, 형태, 피부색, 얼굴, 에지, MPEG-7 기술자, 객체 및 의미를 포함하는 멀티모달 정보를 추출하고 추출된 멀티모달 정보를 이용하여 멀티스케일 유해 및 무해 특징을 생성한다.
유해 분류 모델 생성부(120)는 멀티스케일 특징 분석부(110)에 의해 생성된 멀티스케일 유무해 특징을 통계 처리하고 기계 학습을 수행함으로써 다수준 유해 분류 모델을 생성한다. 일실시예에서, 다수준 유해분류모델은 저수준, 중수준 및 고수준 유해분류모델을 포함하며, 추후 입력되는 영상의 유해성을 판단하기 위한 기준 모델로 사용된다.
유해성 판단부(130)는 유해성 판별을 위해 입력되는 입력 영상 데이터로부터 추출된 멀티모달 정보를 분석하여 멀티스케일 특징을 추출하고 유해 분류 모델 생성부(120)에 의해 생성된 다수준 유해 모델중 적어도 하나와 비교함으로써 영상의 유해성을 판단한다.
유해 영상 차단부(140)는 유해하다고 판단된 영상을 차단한다.
도 2a는 도 1에 도시된 멀티스케일 특징 분석부(110)의 세부 구성을 도시한 블록도이다. 도 2a를 참조하면, 멀티스케일 특징 분석부(110)는, 거친 알갱이 단위(coarse-grained granularity) 특징 분석부(1110), 중간 알갱이 단위 특징 분석부(1120) 및 고운 알갱이 단위(fine-grained granularity) 특징 분석부(1130)를 포함하여, 멀티스케일 단위의 유무해 특징을 생성하고, 이를 유해 분류 모델 생성부(120)에 제공한다.
일 실시예에서, 거친 알갱이 단위 특징 분석부(1110)는 영상 학습 데이터의 색상 복잡도, 질감 복잡도 및 형태 복잡도를 분석하여 복잡도 기반 특징을 생성한다.
중간 알갱이 단위 특징 분석부(1120)는 영상 학습 데이터에 포함된 피부색, 얼굴, 에지 정보 및 MPEG-7 기술자(descriptor)를 분석함으로써 단일 모달 기반 저수준 특징을 생성한다. 단일 모달 기반 저수준 특징은 색상, 질감, 형태 정보 각각에 기반하여 생성된 특징을 의미하며, 생성된 특징이 의미 및 정보간의 상관관계 등의 정보를 포함하지 않기 때문에 저수준이라 지칭한다.
고운 알갱이 단위 특징 분석부(1130)는 영상 학습 데이터로부터 객체를 검출하고 객체의 유해 의미 분석 및 객체 관계 분석을 수행하여 멀티모달 기반 고수준 특징을 생성한다.
도 2b 내지 도 2d는 도 2a의 거친 알갱이 단위 특징 분석부(1110), 중간 알갱이 단위 특징 분석부(1120) 및 고운 알갱이 단위 특징 분석부(1130) 각각의 세부 구성을 도시한 블록도이다.
도 2b를 참조하면, 거친 알갱이 단위 특징 분석부(1110)는, 영상 학습 데이터의 색상 복잡도를 분석하는 색상 복잡도 분석부(1111), 영상 학습 데이터의 질감 복잡도를 분석하는 질감 복잡도 분석부(1112), 영상 학습 데이터의 형태 복잡도를 분석하는 형태 복잡도 분석부(1113) 및 상기 분석된 색상, 질감 및 형태 복잡도에 기반하여 영상의 종류 및 범주에 따른 복잡도 기반 특징을 생성하는 복잡도 기반 특징 생성부(1114)를 포함한다. 일실시예서, 복잡도는 색상의 종류 및 분포도, 질감의 종류 및 분포도, 형태를 구성하는 에지의 개수, 영역의 수 및 분포도 등을 분석하여 평가된다.
도 2c를 참조하면, 중간 알갱이 단위 특징 분석부(1120)는, 영상 학습 데이터로부터 피부색 정보를 검출하는 피부색 검출부(1121), 영상 학습 데이터로부터 얼굴 정보를 검출하는 얼굴 검출부(1122), 영상 학습 데이터로부터 에지 정보를 검출하는 에지 검출부(1123), 영상 학습 데이터로부터 MPEG-7 기술자를 추출하는 MPEG-7 기술자 추출부(1124) 및 상기 피부색, 얼굴, 에지 정보 및 MPEG-7 기술자를 분석하여 영상의 종류 및 범주에 따른 단일 모달 기반 저수준 특징을 생성하는 단일 모달 기반 저수준 특징 생성부(1125)를 포함한다.
도 2d를 참조하면, 고운 알갱이 단위 특징 분석부(1130)는, 영상 학습 데이터로부터 객체 정보를 검출하는 객체 검출부(1131), 상기 검출된 객체의 유해 의미(가슴 노출, 음부 노출, 성행위, 자위행위 등의 포함여부)를 분석하는 객체의미 분석부(1132), 상기 검출된 객체(얼굴, 가슴, 음부, 엉덩이 등 신체 일부 및 사람 전신)간의 관계를 분석하는 객체관계 분석부(1133) 및 상기 분석된 객체 의미 및 객체간 관계에 기반하여 영상의 종류 및 범주에 따른 멀티모달 기반 고수준 특징을 생성하는 멀티모달 기반 고수준 특징 생성부(1134)를 포함한다. 객체 검출은 영상 처리분야에서 기존에 널리 사용되는 방법을 통해 수행되며, 객체 관계 분석은 검출된 객체의 위치, 크기, 개수 정보 등을 이용하여 수행된다.
도 3은 도 1에 도시된 유해 분류 모델 생성부(120)의 세부 구성을 도시한 블록도이다. 도 3을 참조하면, 유해 분류 모델 생성부(120)는, 멀티스케일 특징 분석부(110)의 거친 알갱이 단위 특징 분석부(1110)에 의해 생성된 색상 복잡도, 질감 복잡도 및 형태 복잡도 특징에 대한 통계 처리 및 기계 학습을 통해 저수준 유해 분류 모델을 생성하는 저수준 유해 분류 모델 생성부(1210), 멀티스케일 특징 분석부(110)의 중간 알갱이 단위 특징 분석부(1120)에 의해 생성된 피부색 검출 정보, 얼굴 검출 정보, 에지 검출 정보, MPEG-7 기술자 정보의 특징에 대한 통계 처리 및 기계 학습을 통해 중수준 유해 분류 모델을 생성하는 중수준 유해 분류 모델 생성부(1220) 및 멀티스케일 특징 분석부(110)의 고운 알갱이 단위 특징 분석부(1130)에 의해 생성된 객체 검출 정보, 의미 분석 정보 및 객체 관계 분석 정보의 특징에 대한 통계 처리 및 기계 학습을 통해 고수준 유해 분류 모델을 생성하는 고수준 유해 분류 모델 생성부(1230)를 포함한다.
대안적인 실시예에서, 유해 분류 모델 생성부(1210)는 전술한 저수준, 중수준 및 고수준 유해분류 모델을 생성할 뿐만 아니라, 각 수준의 유해분류모델을 직렬 또는 병렬로 결합한 형태의 다단계 유해분류모델을 생성할 수도 있다.
도 4는 도 1에 도시된 유해성 판단부(130)의 세부 구성을 도시한 블록도이다. 도 4를 참조하면, 유해성 판단부(130)는, 거친 알갱이 단위 특징 추출부(1310), 중간 알갱이 단위 특징 추출부(1320), 고운 알갱이 단위 특징 추출(1330) 및 영상 유해성 판단부(1340)를 포함한다. 거친 알갱이 단위 특징 추출부(1310)는 유해성 판단 대상으로 입력되는 영상 데이터의 색상, 질감 및 형태 복잡도 특징을 분석함으로써 입력 영상 데이터의 복잡도 기반 특징을 추출한다. 중간 알갱이 단위 특징 추출부(1320)는 입력 영상 데이터에 포함된 피부색, 얼굴, 에지 정보 및 MPECG-7 기술자중 적어도 하나를 분석함으로써 입력 영상 데이터의 단일모달기반 저수준 특징을 추출한다. 고운 알갱이 단위 특징 추출부(1330)는 입력 영상 데이터로부터 객체를 검출하고 검출된 객체의 의미 및 객체간 관계를 분석함으로써 멀티모달기반 고수준 특징을 추출한다.
상기 거친 알갱이 단위 특징 추출부(1310), 중간 알갱이 단위 특징 추출부(1320) 및 고운 알갱이 단위 특징 추출부(1330)는 도 2a에 도시된 멀티스케일 특징 분석부(110)에 포함되는 거친 알갱이 단위 특징 분석부(1110), 중간 알갱이 단위 특징 분석부(1120) 및 고운 알갱이 단위 특징 분석부(1130)와 동일하거나 유사한 방식으로 동작할 수 있다.
일실시예에서, 유해성 판단부(130)의 거친 알갱이 단위 특징 추출부(1310), 중간 알갱이 단위 특징 추출부(1320), 고운 알갱이 단위 특징 추출부(1330)는 입력 영상 데이터의 종류 및 범주에 따라 일부 또는 전체가 선택되어 동작될 수 있으며, 선택된 추출부로부터 생성된 입력 영상의 특징을 상기 유해 분류 모델 생성부(120)에 의해 생성된 저수준, 중수준 및 고수준 유해 분류 모델중 적어도 하나와 비교함으로써 영상의 유해성을 판단한다.
도 5는 본 발명의 일 실시예에 따른 멀티모달 및 멀티스케일 특징 기반 유해 영상 차단 방법에 대한 흐름도이다. 도 5를 참조하면, 먼저, 유무해성이 사전에 알려진 영상 학습 데이터로부터 추출되는 색상, 질감, 형태, 피부색, 얼굴, 에지, MPEG-7 기술자, 객체 및 객체 의미를 포함하는 멀티모달 정보를 분석하여 멀티스케일 유해 및 무해 특징을 생성한다(S510). 일 실시예에서, 멀티스케일 유해 및 무해 특징 생성 단계(S510)는, 영상 학습 데이터의 색상 복잡도, 질감 복잡도 및 형태 복잡도를 분석함으로써 복잡도 기반 특징을 생성하는 단계, 영상 학습 데이터에 포함된 피부색, 얼굴, 에지 정보 및 MPEG-7 기술자를 분석함으로써 단일모달 기반 저수준 특징을 생성하는 단계, 및 영상 학습 데이터로부터 객체를 검출하고 객체의 유해 의미 분석 및 객체 관계 분석을 수행하여 멀티모달 기반 고수준 특징을 생성하는 단계를 포함한다.
다음으로, 단계(S510)에서 생성된 유무해 특징에 따라 저수준, 중수준 및 고수준 유해 분류 모델을 포함하는 다수준 유해 분류 모델을 생성한다(S520). 구체적으로, 다수준 유해 분류 모델 생성 단계(S520)는, 복잡도 기반 특징을 이용하여 저수준 유해 분류 모델을 생성하는 단계; 단일모달 기반 저수준 특징을 이용하여 중수준 유해 분류 모델을 생성하는 단계; 및 멀티모달 기반 고수준 특징을 이용하여 고수준 유해 분류 모델을 생성하는 단계를 포함한다. 다수준 유해 분류 모델은 단계(S500)에서 추출된 멀티스케일 유무해 특징들에 대한 통계 처리와 기계 학습을 통한 학습결과로써 생성된다.
다음으로, 유해 여부를 판단하고자 입력되는 입력 영상 데이터로부터 적어도 하나의 멀티스케일 특징을 추출한다(S530). 일예에서, 멀티스케일 특징은 복잡도 기반 특징, 단일모달기반 저수준 특징 및 멀티모달기반 고수준 특징을 포함하며, 입력 영상 데이터의 종류 및 범주에 따라 이러한 멀티스케일 특징중 적어도 하나가 추출될 것이다.
다음으로, 단계(S530)에서 추출된 적어도 하나의 멀티스케일 특징을 상기 단계(S520)에서 생성된 다수준 유해 분류 모델중 적어도 하나와 비교함으로써 상기 영상의 유해성을 판단한다(S540).
단계(S540)에서 영상이 유해하다고 판단되는 경우 해당 영상을 차단한다(S550).
본 발명의 특징은 영상 학습 데이터로부터 색상, 질감, 형태, 피부색, 얼굴, 에지, MPEG-7 기술자, 객체, 의미 분석 등의 멀티모달 정보를 멀티스케일 단위로 분석하고 특징화하고 이러한 특징들을 활용하여 다수준의 유해 분류 모델을 기계 학습을 통해 생성하고, 상기와 같이 생성된 유해 분류 모델을 사용하여 새롭게 입력되는 영상의 유해성을 판단하여 유해 영상을 차단하는 것에 있다. 상기와 같은 멀티모달 정보를 활용한 멀티스케일 단위의 특징에 기반한 다단계 유해 영상 필터링을 사용함으로써, 유해 영상 차단에 있어서 발생하는 과차단율과 오차단율을 현저하게 낮추고 처리 성능과 속도를 향상시킨다.
위에서 설명된 본 발명의 실시예들은 임의의 다양한 방법으로 구현될 수 있다. 예를 들어, 실시예들은 하드웨어, 소프트웨어 또는 그 조합을 이용하여 구현될 수 있다. 소프트웨어로 구현되는 경우에, 다양한 운영체제 또는 플랫폼을 이용하는 하나 이상의 프로세서상에서 실행되는 소프트웨어로서 구현될 수 있다. 추가적으로, 그러한 소프트웨어는 다수의 적합한 프로그래밍 언어들 중에서 임의의 것을 사용하여 작성될 수 있고, 또한 프레임워크 또는 가상 머신에서 실행되는 실행가능 기계어 코드 또는 중간 코드로 컴파일될 수 있다.
또한, 본 발명은 하나 이상의 컴퓨터 또는 다른 프로세서상에서 실행되는 경우 위에서 논의된 본 발명의 다양한 실시예를 구현하는 방법을 수행하는 하나 이상의 프로그램이 기록된 컴퓨터 판독가능 매체(예를 들어, 컴퓨터 메모리, 하나 이상의 플로피 디스크, 콤팩트 디스크, 광학 디스크, 자기 테이프, 플래시 메모리 등)으로 구현될 수 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD_ROM, 자기테이프, 플로피디스크 및 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드로 저장되고 실행될 수 있다.
본 발명의 멀티모달 및 멀티스케일 특징 기반 유해 영상 차단 장치 및 방법은 휴대용 멀티미디 재생 장치(MP3, PMP 등), 핸드폰 및 PDA에도 적용될 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (14)

  1. 영상 학습 데이터로부터 추출되는 멀티모달 정보를 분석하여 멀티스케일 유해 및 무해 특징을 생성하는 멀티스케일 특징 분석부;
    상기 생성된 멀티스케일 유해 및 무해 특징을 통계 처리하고 기계 학습을 수행하여 다수준 유해 분류 모델을 생성하는 유해 분류 모델 생성부;
    유해성 판별을 위해 입력되는 입력 영상 데이터로부터 추출되는 멀티모달 정보를 분석하여 상기 입력 영상의 멀티스케일 특징중 적어도 하나를 추출하고 상기 추출된 특징을 상기 다수준 유해 분류 모델중 적어도 하나와 비교함으로써 상기 영상의 유해성을 판단하는 유해성 판단부; 및
    상기 판단 결과가 유해인 경우 상기 입력 영상을 차단하는 유해 영상 차단부를 포함하며,
    상기 유해성 판단부는,
    상기 입력 영상 데이터의 색상 복잡도, 질감 복잡도 및 형태 복잡도를 분석함으로써 복잡도 기반 특징을 추출하는 거친 알갱이 단위 특징 추출부;
    상기 입력 영상 데이터에 포함된 피부색, 얼굴, 에지 정보 및 MPEG-7 기술자를 분석함으로써 단일모달 기반 저수준 특징을 추출하는 중간 알갱이 단위 특징 추출부;
    상기 입력 영상 데이터에 포함된 객체를 검출하고 객체의 유해 의미 분석 및 객체 관계 분석을 수행하여 멀티모달 기반 고수준 특징을 추출하는 고운 알갱이 단위 특징 추출부; 및
    상기 거친 알갱이 단위 특징 추출부, 상기 중간 알갱이 단위 특징 추출부 및 상기 고운 알갱이 단위 특징 추출부중 적어도 하나로부터 추출된 적어도 하나의 멀티스케일 특징을 상기 다수준 유해 분류 모델중 적어도 하나와 비교함으로써 상기 영상의 유해성을 판단하는 영상 유해성 판단부
    를 포함하는 멀티모달 및 멀티스케일 특징 기반 유해 영상 차단 장치.
  2. 제 1 항에 있어서, 상기 멀티스케일 특징 분석부는,
    상기 영상 학습 데이터의 색상 복잡도, 질감 복잡도 및 형태 복잡도 를 분석함으로써 복잡도 기반 특징을 생성하는 거친 알갱이 단위 특징 분석부;
    상기 영상 학습 데이터에 포함된 피부색, 얼굴, 에지 정보 및 MPEG-7 기술자를 분석함으로써 단일모달 기반 저수준 특징을 생성하는 중간 알갱이 단위 특징 분석부; 및
    상기 영상 학습 데이터로부터 객체를 검출하고 객체의 유해 의미 분석 및 객체 관계 분석을 수행하여 멀티모달 기반 고수준 특징을 생성하는 고운 알갱이 단위 특징 분석부
    를 포함하는 멀티모달 및 멀티스케일 특징 기반 유해 영상 차단 장치.
  3. 제 2 항에 있어서, 상기 거친 알갱이 단위 특징 분석부는,
    상기 영상 학습 데이터의 색상 복잡도를 분석하는 색상 복잡도 분석부;
    상기 영상 학습 데이터의 질감 복잡도를 분석하는 질감 복잡도 분석부;
    상기 영상 학습 데이터의 형태 복잡도를 분석하는 형태 복잡도 분석부;
    상기 분석된 색상, 질감 및 형태 복잡도를 참조하여 영상의 종류 및 범주에 따른 복잡도 기반 특징을 추출하는 복잡도 기반 특징 추출부
    를 포함하는 멀티모달 및 멀티스케일 특징 기반 유해 영상 차단 장치.
  4. 제 2 항에 있어서, 상기 중간 알갱이 단위 특징 분석부는,
    상기 영상 학습 데이터로부터 피부색 정보를 검출하는 피부색 검출부;
    상기 영상 학습 데이터로부터 얼굴 정보를 검출하는 얼굴 검출부;
    상기 영상 학습 데이터로부터 에지 정보를 검출하는 에지 검출부;
    상기 영상 학습 데이터로부터 MPEG-7 기술자를 추출하는 MPEG-7 기술자 추출부; 및
    상기 피부색, 얼굴, 에지 정보 및 MPEG-7 기술자를 분석하여 영상의 종류 및 범주에 따른 단일 모달 기반 저수준 특징을 추출하는 단일 모달 기반 저수준 특징 추출부
    를 포함하는 멀티모달 및 멀티스케일 특징 기반 유해 영상 차단 장치.
  5. 제 2 항에 있어서, 상기 고운 알갱이 단위 특징 분석부는,
    상기영상 학습 데이터로부터 객체 정보를 검출하는 객체 검출부;
    상기 검출된 객체의 유해 의미를 분석하는 객체 의미 분석부;
    상기 검출된 객체간의 관계를 분석하는 객체관계 분석부; 및
    상기 분석된 객체의 유해 의미 및 객체간의 관계 정보에 기반하여 영상의 종류 및 범주에 따른 멀티모달 기반 고수준 특징을 추출하는 멀티모달 기반 고수준 특징 추출부
    를 포함하는 멀티모달 및 멀티스케일 특징 기반 유해 영상 차단 장치.
  6. 제 2항에 있어서, 상기 유해 분류 모델 생성부는,
    상기 거친 알갱이 단위 특징 분석부에 의해 생성된 상기 복잡도 기반 특징을 이용하여 저수준 유해 분류 모델을 생성하는 저수준 유해 분류 모델 생성부;
    상기 중간 알갱이 단위 특징 생성부에 의해 생성된 상기 단일모달 기반 저수준 특징을 이용하여 중수준 유해 분류 모델을 생성하는 중수준 유해 분류 모델 생성부; 및
    상기 고운 알갱이 단위 특징 분석부에 의해 생성된 상기 멀티모달 기반 고수준 특징을 이용하여 고수준 유해 분류 모델을 생성하는 고수준 유해 분류 모델 생성부
    를 포함하는 멀티모달 및 멀티스케일 특징 기반 유해 영상 차단 장치.
  7. 삭제
  8. 제 1 항에 있어서, 상기 입력 영상 데이터의 종류 및 범주에 따라, 상기 거친 알갱이 단위 특징 추출부, 상기 중간 알갱이 단위 특징 추출부 및 상기 고운 알갱이 단위 특징 추출부 중 일부 또는 전체가 선택되어 동작하는 멀티모달 및 멀티스케일 특징 기반 유해 영상 차단 장치.
  9. 제 6 항에 있어서, 상기 유해성 판단부는 상기 입력 영상 데이터의 종류 및 범주에 따라 상기 저수준 유해 분류 모델, 상기 중수준 유해 분류 모델 및 상기 고수준 유해 분류 모델중 적어도 하나를 선택하여 상기 입력 영상 데이터의 특징과 비교하는 멀티모달 및 멀티스케일 특징 기반 유해 영상 차단 장치.
  10. 영상 학습 데이터로부터 추출되는 멀티모달 정보를 분석하여 멀티스케일 유해 및 무해 특징을 생성하는 단계;
    상기 생성된 멀티스케일 유해 및 무해 특징을 통계 처리하고 기계 학습을 적용하여 다수준 유해 분류 모델을 생성하는 단계;
    유해성 판별을 위해 입력되는 입력 영상 데이터의 멀티모달 정보를 분석하여 상기 입력 영상에 대한 멀티스케일 특징중 적어도 하나를 추출하는 단계;
    상기 입력 영상 데이터로부터 추출된 상기 적어도 하나의 멀티스케일 특징을 상기 다수준 유해 분류 모델중 적어도 하나와 비교함으로써 상기 입력 영상의 유해성을 판단하는 단계; 및
    상기 판단 결과가 유해인 경우 상기 입력 영상을 차단하는 단계를 포함하며,
    상기 입력 영상에 대한 멀티스케일 특징중 적어도 하나를 추출하는 단계는, 상기 입력 영상의 종류 및 범주에 따라, 복잡도 기반 특징, 단일모달기반 저수준 특징 및 멀티모달기반 고수준 특징중 적어도 하나를 추출하는 멀티모달 및 멀티스케일 특징 기반 유해 영상 차단 방법.
  11. 제 10 항에 있어서, 상기 멀티스케일 유해 및 무해 특징을 생성하는 단계는,
    상기 영상 학습 데이터의 색상 복잡도, 질감 복잡도 및 형태 복잡도를 분석함으로써 복잡도 기반 특징을 생성하는 단계;
    상기 영상 학습 데이터에 포함된 피부색, 얼굴, 에지 정보 및 MPEG-7 기술자를 분석함으로써 단일모달 기반 저수준 특징을 생성하는 단계; 및
    상기 영상 학습 데이터로부터 객체를 검출하고 객체의 유해 의미 분석 및 객체 관계 분석을 수행하여 멀티모달 기반 고수준 특징을 생성하는 단계
    를 포함하는 멀티모달 및 멀티스케일 특징 기반 유해 영상 차단 방법.
  12. 제 11 항에 있어서, 상기 생성된 멀티스케일 단위의 유해 및 무해 특징을 통계 처리하고 기계 학습을 적용하여 다수준 유해 분류 모델을 생성하는 단계는,
    상기 복잡도 기반 특징을 이용하여 저수준 유해 분류 모델을 생성하는 단계;
    상기 단일모달 기반 저수준 특징을 이용하여 중수준 유해 분류 모델을 생성하는 단계; 및
    상기 멀티모달 기반 고수준 특징을 이용하여 고수준 유해 분류 모델을 생성하는 단계
    를 포함하는 멀티모달 및 멀티스케일 특징 기반 유해 영상 차단 방법.
  13. 제 10 항에 있어서, 상기 입력 영상에 대한 멀티스케일 특징중 적어도 하나를 추출하는 단계는,
    상기 입력 영상 데이터의 색상 복잡도, 질감 복잡도 및 형태 복잡도를 분석하고 상기 분석된 복잡도에 기반하여 복잡도 기반 특징을 추출하는 단계;
    상기 입력 영상 데이터로부터 피부색 정보, 얼굴 정보, 에지 정보 및 MPEG-7 기술자 정보를 추출하고 상기 추출된 정보에 기반하여 단일모달 기반 저수준 특징을 추출하는 단계; 및
    상기 입력 영상 데이터의 객체 정보, 의미정보 및 객체사이의 관계정보를 분석하고 상기 분석 결과에 기반하여 멀티모달기반 고수준 특징을 추출하는 단계중 적어도 하나를 수행함으로써 적어도 하나 멀티스케일 특징을 추출하는 멀티모달 및 멀티스케일 특징 기반 유해 영상 차단 방법.
  14. 삭제
KR1020100107618A 2009-12-21 2010-11-01 멀티모달 및 멀티스케일 특징 기반 유해 영상 차단 장치 및 방법 KR101384317B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US12/966,230 US20110150328A1 (en) 2009-12-21 2010-12-13 Apparatus and method for blockiing objectionable image on basis of multimodal and multiscale features

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020090127868 2009-12-21
KR20090127868 2009-12-21

Publications (2)

Publication Number Publication Date
KR20110073238A KR20110073238A (ko) 2011-06-29
KR101384317B1 true KR101384317B1 (ko) 2014-04-14

Family

ID=44404047

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100107618A KR101384317B1 (ko) 2009-12-21 2010-11-01 멀티모달 및 멀티스케일 특징 기반 유해 영상 차단 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101384317B1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11553157B2 (en) 2016-10-10 2023-01-10 Hyperconnect Inc. Device and method of displaying images
KR101932844B1 (ko) 2017-04-17 2018-12-27 주식회사 하이퍼커넥트 영상 통화 장치, 영상 통화 방법 및 영상 통화 중개 방법
CN111914108A (zh) * 2019-05-07 2020-11-10 鲁东大学 基于语义保持的离散监督跨模态哈希检索方法
KR102282963B1 (ko) 2019-05-10 2021-07-29 주식회사 하이퍼커넥트 단말기, 서버 및 그것의 동작 방법
KR102311603B1 (ko) 2019-10-01 2021-10-13 주식회사 하이퍼커넥트 단말기 및 그것의 동작 방법
KR102293422B1 (ko) 2020-01-31 2021-08-26 주식회사 하이퍼커넥트 단말기 및 그것의 동작 방법
KR20210158311A (ko) 2020-06-23 2021-12-30 한국전자통신연구원 등급 제어가 가능한 비디오 생성 장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060001830A (ko) * 2005-08-17 2006-01-06 (주)엠아이티소프트 음란이미지 차단 서비스 시스템과, 음란이미지 판단 방법및 차단 방법
KR100687732B1 (ko) * 2005-11-24 2007-02-27 한국전자통신연구원 내용 기반 멀티 모달 특징값을 이용한 유해 동영상 차단방법 및 그 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060001830A (ko) * 2005-08-17 2006-01-06 (주)엠아이티소프트 음란이미지 차단 서비스 시스템과, 음란이미지 판단 방법및 차단 방법
KR100687732B1 (ko) * 2005-11-24 2007-02-27 한국전자통신연구원 내용 기반 멀티 모달 특징값을 이용한 유해 동영상 차단방법 및 그 장치

Also Published As

Publication number Publication date
KR20110073238A (ko) 2011-06-29

Similar Documents

Publication Publication Date Title
CN112685565B (zh) 基于多模态信息融合的文本分类方法、及其相关设备
KR101384317B1 (ko) 멀티모달 및 멀티스케일 특징 기반 유해 영상 차단 장치 및 방법
US20110150328A1 (en) Apparatus and method for blockiing objectionable image on basis of multimodal and multiscale features
US10628486B2 (en) Partitioning videos
CN111462183A (zh) 一种基于注意力机制双流网络的行为识别方法及系统
CN111652290B (zh) 一种对抗样本的检测方法及装置
CN109690471B (zh) 使用取向元数据的媒体渲染
KR20110066676A (ko) 피부색과 얼굴 정보 기반 유해 멀티미디어 차단 장치 및 방법
CN114495128B (zh) 字幕信息检测方法、装置、设备以及存储介质
CN111488732B (zh) 一种变形关键词检测方法、系统及相关设备
CN117251551B (zh) 一种基于大语言模型的自然语言处理系统及方法
CN113381963A (zh) 一种域名检测方法、装置和存储介质
CN113569740A (zh) 视频识别模型训练方法与装置、视频识别方法与装置
CN116645624A (zh) 视频内容理解方法和系统、计算机设备、存储介质
Shenkman et al. Do you see what I see? Capabilities and limits of automated multimedia content analysis
CN115512399A (zh) 一种基于局部特征和轻量级网络人脸融合攻击检测的方法
CN112837202B (zh) 基于隐私保护的水印图像的生成、攻击溯源方法及装置
CN116774973A (zh) 数据渲染方法、装置、计算机设备及存储介质
US20130230248A1 (en) Ensuring validity of the bookmark reference in a collaborative bookmarking system
Li et al. Detection of partially occluded pedestrians by an enhanced cascade detector
CN106959945B (zh) 基于人工智能的为新闻生成短标题的方法和装置
CN115080745A (zh) 基于人工智能的多场景文本分类方法、装置、设备及介质
KR102348368B1 (ko) 머신러닝 모델의 학습 데이터 생성과 머신러닝 모델을 이용한 유사 이미지 생성을 위한 장치, 방법, 시스템 및 컴퓨터 판독가능 저장 매체
CN116563898A (zh) 基于GhostNet网络的掌静脉图像识别方法、装置、设备及介质
CN111563276B (zh) 一种网页篡改检测方法、检测系统及相关设备

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180404

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190404

Year of fee payment: 6