KR20110073238A - Apparatus and method for blocking the objectionable multimedia based on multimodal and multiscale features - Google Patents

Apparatus and method for blocking the objectionable multimedia based on multimodal and multiscale features Download PDF

Info

Publication number
KR20110073238A
KR20110073238A KR1020100107618A KR20100107618A KR20110073238A KR 20110073238 A KR20110073238 A KR 20110073238A KR 1020100107618 A KR1020100107618 A KR 1020100107618A KR 20100107618 A KR20100107618 A KR 20100107618A KR 20110073238 A KR20110073238 A KR 20110073238A
Authority
KR
South Korea
Prior art keywords
feature
harmful
image
multiscale
complexity
Prior art date
Application number
KR1020100107618A
Other languages
Korean (ko)
Other versions
KR101384317B1 (en
Inventor
한승완
임재덕
최병철
정병호
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US12/966,230 priority Critical patent/US20110150328A1/en
Publication of KR20110073238A publication Critical patent/KR20110073238A/en
Application granted granted Critical
Publication of KR101384317B1 publication Critical patent/KR101384317B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454Content or additional data filtering, e.g. blocking advertisements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics

Abstract

PURPOSE: According to the kind and category of a video, a harmful video blocking apparatus and method based on multimodal and multiscale features are provided to perform multi-stage harmfulness filtering suitable for each scale. CONSTITUTION: A multiscale feature analysis unit(110) creates multiscale features. A harmfulness classification model generator(120) creates multilevel harmfulness classification models. A harmfulness decision unit(130) decides the harmfulness of a video with comparison between at least one of the multiscale feature of the input video and at least one of the multilevel harmfulness classification model. In case the video is harmful, a harmful video blocking unit(140) secludes the input video.

Description

멀티모달 및 멀티스케일 특징 기반 유해 영상 차단 장치 및 방법{Apparatus and method for blocking the objectionable multimedia based on multimodal and multiscale features}Apparatus and method for blocking the objectionable multimedia based on multimodal and multiscale features}

본 발명은 멀티모달 및 멀티스케일 특징 기반 유해 영상 차단 장치 및 방법에 관한 것으로, 더욱 상세하게는 이미 알려진 유해 및 무해 영상 학습데이터로부터 색상, 질감, 형태, 피부색, 얼굴, 에지, MPEG-7 기술자, 객체, 객체의미 및 객체 관계 등의 멀티모달(multimodal) 정보를 멀티스케일 단위로 분석하고 특징화하고, 이를 활용하여 유해 분류를 위한 다수준의 복잡도를 갖는 다단계 유해 분류 모델을 생성하고 유해 분류 모델을 이용하여 새롭게 유입되는 영상의 유해성을 판단하여 유해 영상을 차단하는 방법 및 장치에 관한 것이다.
The present invention relates to a multimodal and multiscale feature based harmful image blocking device and method, and more particularly, from the known harmful and harmless image learning data, color, texture, shape, skin color, face, edge, MPEG-7 descriptor, Analyze and characterize multimodal information such as objects, object meanings, and object relationships on a multi-scale basis, and use them to create multilevel hazard classification models with multiple levels of complexity for hazard classification and generate hazard classification models. The present invention relates to a method and apparatus for blocking harmful images by judging the harmfulness of newly introduced images.

인터넷은 정보의 바다라고 불릴 정도로 다양한 정보들이 존재할 뿐만 아니라 사용이 편리하여, 현대를 살아가는 많은 사람들의 일상생활 일부가 되어 사회적, 경제적, 학문적인 측면에 있어서 긍정적인 면을 제공한다. 그러나 이러한 긍정적인 면에 반하여, 인터넷의 개방성, 상호연결성, 익명성의 특징을 이용한 유해 정보의 무분별한 유포는 심각한 사회 문제로 대두되고 있다. 특히 인터넷에 언제든지 접속이 가능한 청소년들은 이전보다 훨씬 빈번하게 유해 정보에 노출되게 된다. 이러한 환경은 가치 판단력이 떨어지고 자기 통제력이 약한 청소년들을 유혹하여 정서적, 정신적 해악을 끼칠 수 있다. 그러므로 사회적 약자인 청소년 또는 원치 않는 사람들이 유해 정보에 노출되지 않도록 유해 정보를 차단하는 방법이 필요하다.The Internet is not only rich in information, so called as a sea of information, but also easy to use, making it part of the daily lives of many people in modern times, providing positive aspects in social, economic, and academic terms. However, in contrast to this positive aspect, the reckless dissemination of harmful information by using the Internet's openness, interconnection and anonymity has become a serious social problem. In particular, teenagers who can access the Internet at any time are exposed to harmful information more frequently than before. This environment can attract emotionally and mentally harming young people who have poor value judgment and weak self-control. Therefore, there is a need for a method of blocking harmful information so that the socially disadvantaged youth or unwanted people are not exposed to harmful information.

종래에 유해 영상 차단 방법으로는 메타 데이터 및 텍스트 정보 기반 차단 기법, 해쉬 및 DB 기반 차단 기법, 내용 기반 차단 기법 등이 있다. 메타 데이터 및 텍스트 정보 기반 차단 기법은 영상의 제목, 파일이름, 설명에 포함된 텍스트의 유해성을 분석하여 영상의 유해성을 판단하는 방법으로서, 높은 과차단율 및 오차단율을 나타낸다. 해쉬 및 DB 기반 차단 기법은 기존에 알려진 유해 영상의 해쉬값을 계산하여 데이터베이스화한 후, 입력으로 들어온 새로운 영상의 유해성을 판단하기 위해서는 영상의 해쉬값을 계산한 후 이전에 구축한 데이터베이스와 비교하여 영상의 유해성을 판단하는 방법이다. 이 방법은 유해 영상이 증가하면 할수록 해쉬값 데이터베이스의 크기가 증가할 뿐만 아니라, 영상의 유해성을 판단하는 계산량이 증가하는 문제점을 갖는다. 또한, 이미 알려진 유해 영상라도 약간의 변형을 통해 해쉬값이 변한다면 차단하지 못한다.Conventionally, harmful image blocking methods include metadata and text information based blocking techniques, hash and DB based blocking techniques, and content based blocking techniques. The blocking technique based on metadata and text information is a method of determining the harmfulness of an image by analyzing the harmfulness of the text included in the title, file name, and description of the image, and has a high over-blocking rate and an error-blocking rate. Hash and DB based blocking method calculates database of hash value of known harmful image and calculates hash value of image and compares it with previously constructed database in order to judge the harmfulness of new image which is input. This is a method of determining the harmfulness of the video. This method not only increases the size of the hash value database as the harmful image increases, but also increases the amount of computation for determining the harmfulness of the image. Also, even known harmful images may not be blocked if the hash value changes through slight modification.

최근에 등장한 내용 기반 차단 기법은 유해 영상의 내용을 분석하여 특징을 추출하고, 그 특징으로부터 유해 분류 모델을 생성한 후, 기생성된 유해 분류 모델에 근거하여 입력으로 들어온 영상의 유해성을 판단한다. 이 방법은 메타 데이터 및 텍스트 기반 차단 기법에서 나타나는 높은 과차단율 및 오차단율을 해결하고 해쉬 및 DB 기반 차단 기법의 데이터베이스 크기 및 계산량 문제를 해결하였다.Recently, the content-based blocking technique has been analyzed to extract a feature by analyzing the content of the harmful image, generate a hazard classification model from the feature, and determine the harmfulness of the input image based on the generated hazard classification model. This method solves the high over-blocking rate and error-blocking rate of metadata and text-based blocking, and solves the database size and computational problems of hash and DB-based blocking.

그러나, 대부분의 내용 기반 차단 기법은 유해 영상의 특징으로 색상(color), 질감(texture), 형태(shape)와 같은 저수준 특징을 사용하거나 영상 검색에 주로 사용되는 MPEG-7 기술자(Descriptor)를 주로 사용한다. 이러한 정보는 유해 영상의 특징을 제대로 반영하지 못하여 낮은 차단율과 높은 오차단율을 보인다. 이러한 문제점을 해결하기 위해, 최근 새로운 접근법에서는 화소(pixel) 단위로 피부색을 탐지하여 영상에서의 피부색과 비피부색 비율 등을 유해성 판단의 특징으로 활용하기도 한다. 그러나, 이러한 특징을 사용하는 접근법도 실제의 유해 영상을 의미적으로 정확하게 묘사하고 축약하기에는 부족하여 이러한 특징을 사용하여 생성된 유해 분류 모델은 여전히 낮은 성능을 보인다. 또한, 영상의 유해 특징을 생성하는 복잡도가 모든 영상에 동일하게 적용되어, 고수준의 유해 특징을 생성하기 위해서는 많은 시간이 소요되는 단점이 있으며, 각기 다른 복잡도를 갖는 영상을 동일하게 처리함으로써 유해 영상 차단 시스템의 전체 성능의 저하를 가져온다.However, most content-based blocking techniques use low-level features such as color, texture, and shape as the features of harmful images, or MPEG-7 descriptors, which are mainly used for image retrieval. use. This information does not properly reflect the characteristics of the harmful image, which results in low blocking rate and high error rate. In order to solve this problem, a recent new approach detects skin color in pixels and utilizes skin and non-skin color ratios in the image as a characteristic of hazard determination. However, the approach using these features is also insufficient to semantically accurately describe and abbreviate the actual harmful images, so that the hazard classification model generated using these features still shows low performance. In addition, the complexity of generating harmful features of an image is equally applied to all images, and it takes a long time to generate a high level of harmful features, and blocks harmful images by processing images having different complexity in the same manner. It leads to a decrease in the overall performance of the system.

그러므로, 유해 영상 차단 방법의 과차단율과 오차단율을 낮추고 처리 성능과 속도를 향상시키기 위해서는 영상이 내포하고 있는 멀티모달 정보를 활용하고 영상의 복잡도 수준에 맞는 유해 분류 모델이 적용될 수 있는 멀티스케일 단위의 다단계 유해 영상 필터링을 장착한 유해 영상 차단 방법이 필요하다.
Therefore, in order to reduce the overblocking rate and error rate of the harmful image blocking method, and to improve the processing performance and speed, the multi-scale unit that can apply the harmful classification model suitable for the complexity level of the image can be applied. There is a need for a harmful image blocking method with multi-level harmful image filtering.

본 발명이 이루고자 하는 기술적 과제는, 영상 학습 데이터로부터 색상, 질감, 형태, 피부색, 얼굴, 에지, MPEG-7 기술자, 객체, 의미 등의 멀티모달 정보를 멀티스케일 단위로 분석하여 특징화하고, 이를 활용하여 다수준의 복잡도를 갖는 유해 분류 모델을 기계 학습을 통해 생성하고, 이와 같이 생성된 다수준 유해 분류 모델을 사용하여 새롭게 입력되는 영상의 유해성을 판단하여 유해 영상을 차단하는 장치 및 방법을 제공하는 데 있다.
The technical problem to be achieved by the present invention is characterized by analyzing multi-modal information such as color, texture, shape, skin color, face, edge, MPEG-7 descriptor, object, meaning from multi-scale unit from image learning data, Provides an apparatus and method for generating harmful classification models with multi-level complexity through machine learning and judging the harmfulness of newly input images using the generated multi-level harmful classification model to block harmful images. There is.

본 발명의 일특징에 따른 멀티모달 및 멀티스케일 특징 기반 유해 영상 차단 장치는, 영상 학습 데이터로부터 추출되는 멀티모달 정보를 분석하여 멀티스케일 유해 및 무해 특징을 생성하는 멀티스케일 특징 분석부; 상기 생성된 멀티스케일 유해 및 무해 특징을 통계 처리하고 기계 학습을 수행하여 다수준 유해 분류 모델을 생성하는 유해 분류 모델 생성부; 유해성 판별을 위해 입력되는 입력 영상 데이터로부터 추출되는 멀티모달 정보를 분석하여 상기 입력 영상의 멀티스케일 특징중 적어도 하나를 추출하고 상기 추출된 특징을 상기 다수준 유해 분류 모델중 적어도 하나와 비교함으로써 상기 영상의 유해성을 판단하는 유해성 판단부; 및 상기 판단 결과가 유해인 경우 상기 입력 영상을 차단하는 유해 영상 차단부를 포함한다.Multimodal and multiscale feature-based harmful image blocking device according to an aspect of the present invention, multi-scale feature analysis unit for generating multi-scale harmful and harmless features by analyzing the multi-modal information extracted from the image learning data; A hazard classification model generator for generating a multilevel hazard classification model by statistically processing the generated multiscale harmful and harmless features and performing machine learning; Analyze multi-modal information extracted from input image data input for hazard determination, extract at least one of the multiscale features of the input image, and compare the extracted feature with at least one of the multilevel hazard classification model. Hazard determination unit for determining the harmfulness of; And a harmful image blocking unit which blocks the input image when the determination result is harmful.

본 발명의 다른 특징에 따른 멀티모달 및 멀티스케일 특징 기반 유해 영상 차단 방법은, 영상 학습 데이터로부터 추출되는 멀티모달 정보를 분석하여 멀티스케일 유해 및 무해 특징을 생성하는 단계; 상기 생성된 멀티스케일 유해 및 무해 특징을 통계 처리하고 기계 학습을 적용하여 다수준 유해 분류 모델을 생성하는 단계; 유해성 판별을 위해 입력되는 입력 영상 데이터의 멀티모달 정보를 분석하여 상기 입력 영상에 대한 멀티스케일 특징중 적어도 하나를 추출하는 단계;상기 입력 영상 데이터로부터 추출된 상기 적어도 하나의 멀티스케일 특징을 상기 다수준 유해 분류 모델중 적어도 하나와 비교함으로써 상기 입력 영상의 유해성을 판단하는 단계; 및 상기 판단 결과가 유해인 경우 상기 입력 영상을 차단하는 단계를 포함한다.
Multimodal and multiscale feature-based harmful image blocking method according to another aspect of the present invention comprises the steps of analyzing the multi-modal information extracted from the image learning data to generate a multi-scale harmful and harmless features; Statistically processing the generated multiscale harmful and harmless features and applying machine learning to generate a multilevel hazard classification model; Analyzing at least one of the multi-scale features of the input image by analyzing multi-modal information of the input image data input for hazard determination; multi-leveling the at least one multi-scale feature extracted from the input image data Determining a hazard of the input image by comparing with at least one of a hazard classification model; And blocking the input image when the determination result is harmful.

본 발명의 멀티모달 및 멀티스케일 특징 기반 유해 영상 차단 장치 및 방법에 따르면, 영상의 유해성을 판단하기 위해 영상에 포함된 멀티모달 정보를 활용하여 멀티스케일 특징 추출과 다수준 유해 분류 모델 생성을 가능하도록 하였다. 그 결과로써, 영상의 종류 및 범주에 따라 각각의 스케일 에 맞는 다단계 유해 필터링을 수행함으로써 유해 영상 차단에서 발생하는 과차단율과 오차단율을 낮출 수 있을 뿐만 아니라, 유해 영상 차단의 처리 성능을 개선하여 소요 비용을 줄일 수 있다. 또한, 본 발명의 유해 영상 차단 장치 및 방법은 다수준의 유해 분류 모델의 다단계로 적용할 수 있기 때문에, 응용 환경에 따라 영상 분석의 깊이와 유해 영상 차단의 복잡도에 대한 자유로운 조절이 가능하도록 한다.According to the multi-modal and multi-scale feature based harmful image blocking device and method of the present invention, multi-scale feature extraction and multi-level harmful classification model generation are possible by utilizing the multi-modal information included in the image to determine the harmfulness of the image. It was. As a result, by performing multi-level harmful filtering for each scale according to the type and category of the image, not only can the over-blocking rate and the error-blocking rate caused by the harmful image blocking be lowered, but also the processing performance of the harmful image blocking is improved. Reduce costs In addition, the apparatus and method of the harmful image blocking apparatus of the present invention can be applied to the multi-level of the harmful classification model of the multi-level, it is possible to freely control the depth of the image analysis and the complexity of the harmful image blocking according to the application environment.

도 1은 본 발명의 일 실시예에 따른 멀티모달 및 멀티스케일 특징 기반 유해 영상 차단 장치의 구성을 도시한 블록도;
도 2a는 도 1에 도시된 멀티스케일 특징 분석부(110)의 세부 구성을 도시한 블록도이고, 도 2b 내지 도 2d는 도 2a의 거친 알갱이 단위 특징 분석부(1110), 중간 알갱이 단위 특징 분석부(1120) 및 고운 알갱이 단위 특징 분석부(1130) 각각의 세부 구성을 도시한 블록도;
도 3은 도 1에 도시된 유해 분류 모델 생성부(120)의 세부 구성을 도시한 블록도;
도 4는 도 1에 도시된 유해성 판단부(130)의 세부 구성을 도시한 블록도;
도 5는 본 발명의 일 실시예에 따른 멀티모달 및 멀티스케일 특징 기반 유해 영상 차단 방법에 대한 흐름도.
1 is a block diagram showing the configuration of a multimodal and multiscale feature based harmful image blocking device according to an embodiment of the present invention;
FIG. 2A is a block diagram illustrating a detailed configuration of the multiscale feature analyzer 110 illustrated in FIG. 1, and FIGS. 2B to 2D are coarse grain unit feature analyzer 1110 of FIG. 2A and middle grain unit feature analysis. A block diagram showing a detailed configuration of each of the unit 1120 and the fine grain unit feature analyzer 1130;
3 is a block diagram showing the detailed configuration of the hazard classification model generation unit 120 shown in FIG.
4 is a block diagram showing the detailed configuration of the hazard determination unit 130 shown in FIG.
5 is a flowchart illustrating a method for blocking harmful images based on multimodal and multiscale features according to an embodiment of the present invention.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명하겠다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.DETAILED DESCRIPTION Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the present invention. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In the drawings, parts irrelevant to the description are omitted in order to clearly describe the present invention, and like reference numerals designate like parts throughout the specification.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있음을 의미한다.
Throughout the specification, when a part is said to "include" a certain component, it means that it can further include other components, without excluding other components unless specifically stated otherwise. In addition, the terms “… unit”, “module”, and the like described in the specification mean a unit that processes at least one function or operation, which means that the unit may be implemented by hardware or software or a combination of hardware and software.

도 1은 본 발명의 일 실시예에 따른 멀티모달 및 멀티스케일 특징 기반 유해 영상 차단 장치의 구성을 도시한 블록도이다. 도 1에 도시된 바와 같이, 멀티모달 및 멀티스케일 특징 기반 유해 영상 차단 장치(100)는, 멀티스케일 특징 분석부(110), 유해 분류 모델 생성부(120), 유해성 판단부(130) 및 유해 영상 차단부(140)를 포함한다. 영상 학습 데이터는 유해 영상과 무해 영상으로 이루어지며, 영상의 유해성을 모델링하는 데이터로 사용된다. 1 is a block diagram illustrating a configuration of an apparatus for blocking harmful images based on multimodal and multiscale features according to an embodiment of the present invention. As shown in FIG. 1, the multimodal and multiscale feature-based harmful image blocking device 100 includes a multiscale feature analyzer 110, a harmful classification model generator 120, a hazard determination unit 130, and a harmful object. And an image blocker 140. Image learning data consists of harmful images and harmless images, and is used as data to model the harmfulness of images.

멀티스케일 특징 분석부(110)는 영상 학습 데이터로부터 색상, 질감, 형태, 피부색, 얼굴, 에지, MPEG-7 기술자, 객체 및 의미를 포함하는 멀티모달 정보를 추출하고 추출된 멀티모달 정보를 이용하여 멀티스케일 유해 및 무해 특징을 생성한다. The multiscale feature analyzer 110 extracts multimodal information including color, texture, shape, skin color, face, edge, MPEG-7 descriptor, object, and meaning from the image learning data, and uses the extracted multimodal information. Produces multiscale harmful and harmless features.

유해 분류 모델 생성부(120)는 멀티스케일 특징 분석부(110)에 의해 생성된 멀티스케일 유무해 특징을 통계 처리하고 기계 학습을 수행함으로써 다수준 유해 분류 모델을 생성한다. 일실시예에서, 다수준 유해분류모델은 저수준, 중수준 및 고수준 유해분류모델을 포함하며, 추후 입력되는 영상의 유해성을 판단하기 위한 기준 모델로 사용된다. The hazard classification model generation unit 120 generates a multilevel hazard classification model by statistically processing multi-scale presence or absence features generated by the multiscale feature analysis unit 110 and performing machine learning. In one embodiment, the multilevel hazard classification model includes a low level, a medium level, and a high level hazard classification model, and is used as a reference model for determining the harmfulness of a later input image.

유해성 판단부(130)는 유해성 판별을 위해 입력되는 입력 영상 데이터로부터 추출된 멀티모달 정보를 분석하여 멀티스케일 특징을 추출하고 유해 분류 모델 생성부(120)에 의해 생성된 다수준 유해 모델중 적어도 하나와 비교함으로써 영상의 유해성을 판단한다. The hazard determination unit 130 analyzes the multi-modal information extracted from the input image data input for hazard determination, extracts the multiscale feature, and at least one of the multilevel hazard models generated by the hazard classification model generator 120. The harmfulness of the image is determined by comparing with.

유해 영상 차단부(140)는 유해하다고 판단된 영상을 차단한다.The harmful image blocking unit 140 blocks the image determined to be harmful.

도 2a는 도 1에 도시된 멀티스케일 특징 분석부(110)의 세부 구성을 도시한 블록도이다. 도 2a를 참조하면, 멀티스케일 특징 분석부(110)는, 거친 알갱이 단위(coarse-grained granularity) 특징 분석부(1110), 중간 알갱이 단위 특징 분석부(1120) 및 고운 알갱이 단위(fine-grained granularity) 특징 분석부(1130)를 포함하여, 멀티스케일 단위의 유무해 특징을 생성하고, 이를 유해 분류 모델 생성부(120)에 제공한다. 2A is a block diagram illustrating a detailed configuration of the multiscale feature analyzer 110 illustrated in FIG. 1. Referring to FIG. 2A, the multiscale feature analyzer 110 includes a coarse-grained granularity feature analyzer 1110, a medium grain unit feature analyzer 1120, and a fine-grained granularity. Including the feature analysis unit 1130, to generate the presence or absence of harmful features in the multi-scale unit, and provides it to the harmful classification model generation unit 120.

일 실시예에서, 거친 알갱이 단위 특징 분석부(1110)는 영상 학습 데이터의 색상 복잡도, 질감 복잡도 및 형태 복잡도를 분석하여 복잡도 기반 특징을 생성한다. In one embodiment, the coarse grain unit feature analyzer 1110 generates a complexity based feature by analyzing color complexity, texture complexity, and shape complexity of the image training data.

중간 알갱이 단위 특징 분석부(1120)는 영상 학습 데이터에 포함된 피부색, 얼굴, 에지 정보 및 MPEG-7 기술자(descriptor)를 분석함으로써 단일 모달 기반 저수준 특징을 생성한다. 단일 모달 기반 저수준 특징은 색상, 질감, 형태 정보 각각에 기반하여 생성된 특징을 의미하며, 생성된 특징이 의미 및 정보간의 상관관계 등의 정보를 포함하지 않기 때문에 저수준이라 지칭한다. The intermediate grain unit feature analyzer 1120 generates a single modal based low level feature by analyzing skin color, face, edge information, and MPEG-7 descriptor included in the image learning data. The single modal based low level feature refers to a feature generated based on color, texture, and shape information, and is referred to as a low level because the generated feature does not include information such as correlation between meaning and information.

고운 알갱이 단위 특징 분석부(1130)는 영상 학습 데이터로부터 객체를 검출하고 객체의 유해 의미 분석 및 객체 관계 분석을 수행하여 멀티모달 기반 고수준 특징을 생성한다.The fine grain unit feature analysis unit 1130 detects the object from the image learning data, performs harmful semantic analysis and object relation analysis of the object to generate a multimodal based high level feature.

도 2b 내지 도 2d는 도 2a의 거친 알갱이 단위 특징 분석부(1110), 중간 알갱이 단위 특징 분석부(1120) 및 고운 알갱이 단위 특징 분석부(1130) 각각의 세부 구성을 도시한 블록도이다. 2B to 2D are block diagrams illustrating detailed structures of the coarse grain unit feature analyzer 1110, the intermediate grain unit feature analyzer 1120, and the fine grain unit feature analyzer 1130 of FIG. 2A.

도 2b를 참조하면, 거친 알갱이 단위 특징 분석부(1110)는, 영상 학습 데이터의 색상 복잡도를 분석하는 색상 복잡도 분석부(1111), 영상 학습 데이터의 질감 복잡도를 분석하는 질감 복잡도 분석부(1112), 영상 학습 데이터의 형태 복잡도를 분석하는 형태 복잡도 분석부(1113) 및 상기 분석된 색상, 질감 및 형태 복잡도에 기반하여 영상의 종류 및 범주에 따른 복잡도 기반 특징을 생성하는 복잡도 기반 특징 생성부(1114)를 포함한다. 일실시예서, 복잡도는 색상의 종류 및 분포도, 질감의 종류 및 분포도, 형태를 구성하는 에지의 개수, 영역의 수 및 분포도 등을 분석하여 평가된다. Referring to FIG. 2B, the coarse grain unit feature analyzer 1110 may include a color complexity analyzer 1111 for analyzing color complexity of image training data, and a texture complexity analyzer 1112 for analyzing texture complexity of image training data. , A shape complexity analyzer 1113 for analyzing shape complexity of image learning data, and a complexity-based feature generator 1114 for generating a complexity-based feature according to the type and category of an image based on the analyzed color, texture, and shape complexity. ). In one embodiment, the complexity is evaluated by analyzing the type and distribution of color, the type and distribution of texture, the number of edges constituting the shape, the number and distribution of regions, and the like.

도 2c를 참조하면, 중간 알갱이 단위 특징 분석부(1120)는, 영상 학습 데이터로부터 피부색 정보를 검출하는 피부색 검출부(1121), 영상 학습 데이터로부터 얼굴 정보를 검출하는 얼굴 검출부(1122), 영상 학습 데이터로부터 에지 정보를 검출하는 에지 검출부(1123), 영상 학습 데이터로부터 MPEG-7 기술자를 추출하는 MPEG-7 기술자 추출부(1124) 및 상기 피부색, 얼굴, 에지 정보 및 MPEG-7 기술자를 분석하여 영상의 종류 및 범주에 따른 단일 모달 기반 저수준 특징을 생성하는 단일 모달 기반 저수준 특징 생성부(1125)를 포함한다.
Referring to FIG. 2C, the intermediate grain unit feature analyzer 1120 may include a skin color detector 1121 for detecting skin color information from image training data, a face detector 1122 for detecting face information from image training data, and image training data. An edge detector 1123 for detecting edge information from the image, an MPEG-7 descriptor extractor 1124 for extracting an MPEG-7 descriptor from image learning data, and the skin color, face, edge information, and MPEG-7 descriptor for analyzing the image. And a single modal based low level feature generator 1125 for generating a single modal based low level feature according to type and category.

도 2d를 참조하면, 고운 알갱이 단위 특징 분석부(1130)는, 영상 학습 데이터로부터 객체 정보를 검출하는 객체 검출부(1131), 상기 검출된 객체의 유해 의미(가슴 노출, 음부 노출, 성행위, 자위행위 등의 포함여부)를 분석하는 객체의미 분석부(1132), 상기 검출된 객체(얼굴, 가슴, 음부, 엉덩이 등 신체 일부 및 사람 전신)간의 관계를 분석하는 객체관계 분석부(1133) 및 상기 분석된 객체 의미 및 객체간 관계에 기반하여 영상의 종류 및 범주에 따른 멀티모달 기반 고수준 특징을 생성하는 멀티모달 기반 고수준 특징 생성부(1134)를 포함한다. 객체 검출은 영상 처리분야에서 기존에 널리 사용되는 방법을 통해 수행되며, 객체 관계 분석은 검출된 객체의 위치, 크기, 개수 정보 등을 이용하여 수행된다.
Referring to FIG. 2D, the fine grain unit feature analyzer 1130 may include an object detector 1131 which detects object information from image learning data, and harmful meanings of the detected object (chest exposure, pussy exposure, sexual activity, masturbation). Object meaning analysis unit 1132 for analyzing whether or not to include, etc., an object relationship analysis unit 1133 for analyzing the relationship between the detected objects (a body part such as face, chest, pussy, buttocks and human body) and the analysis And a multimodal based high level feature generation unit 1134 for generating a multimodal based high level feature according to the type and category of the image based on the object meaning and the relationship between the objects. Object detection is performed by a method widely used in the field of image processing, and object relationship analysis is performed using the position, size, number information of the detected object.

도 3은 도 1에 도시된 유해 분류 모델 생성부(120)의 세부 구성을 도시한 블록도이다. 도 3을 참조하면, 유해 분류 모델 생성부(120)는, 멀티스케일 특징 분석부(110)의 거친 알갱이 단위 특징 분석부(1110)에 의해 생성된 색상 복잡도, 질감 복잡도 및 형태 복잡도 특징에 대한 통계 처리 및 기계 학습을 통해 저수준 유해 분류 모델을 생성하는 저수준 유해 분류 모델 생성부(1210), 멀티스케일 특징 분석부(110)의 중간 알갱이 단위 특징 분석부(1120)에 의해 생성된 피부색 검출 정보, 얼굴 검출 정보, 에지 검출 정보, MPEG-7 기술자 정보의 특징에 대한 통계 처리 및 기계 학습을 통해 중수준 유해 분류 모델을 생성하는 중수준 유해 분류 모델 생성부(1220) 및 멀티스케일 특징 분석부(110)의 고운 알갱이 단위 특징 분석부(1130)에 의해 생성된 객체 검출 정보, 의미 분석 정보 및 객체 관계 분석 정보의 특징에 대한 통계 처리 및 기계 학습을 통해 고수준 유해 분류 모델을 생성하는 고수준 유해 분류 모델 생성부(1230)를 포함한다. 3 is a block diagram showing the detailed configuration of the hazard classification model generation unit 120 shown in FIG. Referring to FIG. 3, the harmful classification model generation unit 120 may perform statistics on color complexity, texture complexity, and shape complexity features generated by the coarse grain unit feature analysis unit 1110 of the multiscale feature analysis unit 110. Skin color detection information and face generated by the low level hazard classification model generator 1210 and the intermediate grain unit feature analyzer 1120 of the multiscale feature analyzer 110 that generate a low level hazard classification model through processing and machine learning. A medium level hazard classification model generator 1220 and a multiscale feature analyzer 110 that generate a medium level classification model through statistical processing and machine learning on features of detection information, edge detection information, and MPEG-7 descriptor information. High-level existence through statistical processing and machine learning on the features of the object detection information, semantic analysis information, and object relationship analysis information generated by the fine grain unit feature analysis unit 1130 And a high level hazard classification model generation unit 1230 for generating a solution classification model.

대안적인 실시예에서, 유해 분류 모델 생성부(1210)는 전술한 저수준, 중수준 및 고수준 유해분류 모델을 생성할 뿐만 아니라, 각 수준의 유해분류모델을 직렬 또는 병렬로 결합한 형태의 다단계 유해분류모델을 생성할 수도 있다.
In an alternative embodiment, the hazard classification model generator 1210 not only generates the above-described low, medium, and high level hazard classification models, but also combines the hazard classification models of each level in series or in parallel to form a hazard classification model. You can also create

도 4는 도 1에 도시된 유해성 판단부(130)의 세부 구성을 도시한 블록도이다. 도 4를 참조하면, 유해성 판단부(130)는, 거친 알갱이 단위 특징 추출부(1310), 중간 알갱이 단위 특징 추출부(1320), 고운 알갱이 단위 특징 추출(1330) 및 영상 유해성 판단부(1340)를 포함한다. 거친 알갱이 단위 특징 추출부(1310)는 유해성 판단 대상으로 입력되는 영상 데이터의 색상, 질감 및 형태 복잡도 특징을 분석함으로써 입력 영상 데이터의 복잡도 기반 특징을 추출한다. 중간 알갱이 단위 특징 추출부(1320)는 입력 영상 데이터에 포함된 피부색, 얼굴, 에지 정보 및 MPECG-7 기술자중 적어도 하나를 분석함으로써 입력 영상 데이터의 단일모달기반 저수준 특징을 추출한다. 고운 알갱이 단위 특징 추출부(1330)는 입력 영상 데이터로부터 객체를 검출하고 검출된 객체의 의미 및 객체간 관계를 분석함으로써 멀티모달기반 고수준 특징을 추출한다.4 is a block diagram showing a detailed configuration of the hazard determination unit 130 shown in FIG. Referring to FIG. 4, the hazard determiner 130 may include a coarse grain unit feature extractor 1310, an intermediate grain unit feature extractor 1320, a fine grain unit feature extractor 1330, and an image hazard determiner 1340. It includes. The coarse grain unit feature extractor 1310 extracts a complexity-based feature of the input image data by analyzing color, texture, and shape complexity features of the image data input as a hazard determination target. The intermediate grain unit feature extractor 1320 extracts a single modal based low level feature of the input image data by analyzing at least one of skin color, face, edge information, and MPECG-7 descriptor included in the input image data. The fine grain unit feature extractor 1330 extracts a multi-modal based high level feature by detecting an object from the input image data and analyzing the meaning of the detected object and the relationship between the objects.

상기 거친 알갱이 단위 특징 추출부(1310), 중간 알갱이 단위 특징 추출부(1320) 및 고운 알갱이 단위 특징 추출부(1330)는 도 2a에 도시된 멀티스케일 특징 분석부(110)에 포함되는 거친 알갱이 단위 특징 분석부(1110), 중간 알갱이 단위 특징 분석부(1120) 및 고운 알갱이 단위 특징 분석부(1130)와 동일하거나 유사한 방식으로 동작할 수 있다. The coarse grain unit feature extractor 1310, the intermediate grain unit feature extractor 1320, and the fine grain unit feature extractor 1330 are coarse grain units included in the multiscale feature analyzer 110 illustrated in FIG. 2A. It may operate in the same or similar manner as the feature analyzer 1110, the intermediate grain unit feature analyzer 1120, and the fine grain unit feature analyzer 1130.

일실시예에서, 유해성 판단부(130)의 거친 알갱이 단위 특징 추출부(1310), 중간 알갱이 단위 특징 추출부(1320), 고운 알갱이 단위 특징 추출부(1330)는 입력 영상 데이터의 종류 및 범주에 따라 일부 또는 전체가 선택되어 동작될 수 있으며, 선택된 추출부로부터 생성된 입력 영상의 특징을 상기 유해 분류 모델 생성부(120)에 의해 생성된 저수준, 중수준 및 고수준 유해 분류 모델중 적어도 하나와 비교함으로써 영상의 유해성을 판단한다.
In one embodiment, the coarse grain unit feature extractor 1310, the intermediate grain unit feature extractor 1320, and the fine grain unit feature extractor 1330 of the hazard determination unit 130 may be configured according to the type and category of the input image data. Some or all of them may be selected and operated, and the characteristics of the input image generated from the selected extractor may be compared with at least one of the low, medium, and high level harmful classification models generated by the harmful classification model generator 120. By determining the harmfulness of the image.

도 5는 본 발명의 일 실시예에 따른 멀티모달 및 멀티스케일 특징 기반 유해 영상 차단 방법에 대한 흐름도이다. 도 5를 참조하면, 먼저, 유무해성이 사전에 알려진 영상 학습 데이터로부터 추출되는 색상, 질감, 형태, 피부색, 얼굴, 에지, MPEG-7 기술자, 객체 및 객체 의미를 포함하는 멀티모달 정보를 분석하여 멀티스케일 유해 및 무해 특징을 생성한다(S510). 일 실시예에서, 멀티스케일 유해 및 무해 특징 생성 단계(S510)는, 영상 학습 데이터의 색상 복잡도, 질감 복잡도 및 형태 복잡도를 분석함으로써 복잡도 기반 특징을 생성하는 단계, 영상 학습 데이터에 포함된 피부색, 얼굴, 에지 정보 및 MPEG-7 기술자를 분석함으로써 단일모달 기반 저수준 특징을 생성하는 단계, 및 영상 학습 데이터로부터 객체를 검출하고 객체의 유해 의미 분석 및 객체 관계 분석을 수행하여 멀티모달 기반 고수준 특징을 생성하는 단계를 포함한다.5 is a flowchart illustrating a method for blocking harmful images based on multimodal and multiscale features according to an embodiment of the present invention. Referring to FIG. 5, first, multimodal information including color, texture, shape, skin color, face, edge, MPEG-7 descriptor, object, and object meaning are extracted from image learning data of which harmlessness is known in advance. Generate multi-scale harmful and harmless features (S510). In an embodiment, the multi-scale harmful and harmless feature generation step S510 may include generating a complexity-based feature by analyzing color complexity, texture complexity, and shape complexity of the image training data, skin color, and face included in the image training data. Generating a single modal based low level feature by analyzing edge information and MPEG-7 descriptors, and generating a multimodal based high level feature by detecting an object from image learning data and performing harmful semantic analysis and object relation analysis of the object. Steps.

다음으로, 단계(S510)에서 생성된 유무해 특징에 따라 저수준, 중수준 및 고수준 유해 분류 모델을 포함하는 다수준 유해 분류 모델을 생성한다(S520). 구체적으로, 다수준 유해 분류 모델 생성 단계(S520)는, 복잡도 기반 특징을 이용하여 저수준 유해 분류 모델을 생성하는 단계; 단일모달 기반 저수준 특징을 이용하여 중수준 유해 분류 모델을 생성하는 단계; 및 멀티모달 기반 고수준 특징을 이용하여 고수준 유해 분류 모델을 생성하는 단계를 포함한다. 다수준 유해 분류 모델은 단계(S500)에서 추출된 멀티스케일 유무해 특징들에 대한 통계 처리와 기계 학습을 통한 학습결과로써 생성된다. Next, a multilevel hazard classification model including a low level, a medium level, and a high level hazardous classification model is generated according to the harmful features generated in step S510 (S520). Specifically, the multilevel hazard classification model generation step S520 may include generating a low level hazard classification model using a complexity-based feature; Generating a medium hazard classification model using a single modal based low level feature; And generating a high level hazard classification model using the multimodal based high level features. The multilevel hazard classification model is generated as a learning result through statistical processing and machine learning on multiscale harmful features extracted in step S500.

다음으로, 유해 여부를 판단하고자 입력되는 입력 영상 데이터로부터 적어도 하나의 멀티스케일 특징을 추출한다(S530). 일예에서, 멀티스케일 특징은 복잡도 기반 특징, 단일모달기반 저수준 특징 및 멀티모달기반 고수준 특징을 포함하며, 입력 영상 데이터의 종류 및 범주에 따라 이러한 멀티스케일 특징중 적어도 하나가 추출될 것이다.Next, at least one multiscale feature is extracted from the input image data input to determine whether the object is harmful (S530). In one example, the multiscale feature includes a complexity based feature, a single modal based low level feature, and a multimodal based high level feature, and at least one of these multiscale features will be extracted according to the type and category of the input image data.

다음으로, 단계(S530)에서 추출된 적어도 하나의 멀티스케일 특징을 상기 단계(S520)에서 생성된 다수준 유해 분류 모델중 적어도 하나와 비교함으로써 상기 영상의 유해성을 판단한다(S540).Next, the harmfulness of the image is determined by comparing the at least one multiscale feature extracted in step S530 with at least one of the multilevel harmful classification models generated in step S520 (S540).

단계(S540)에서 영상이 유해하다고 판단되는 경우 해당 영상을 차단한다(S550).
If it is determined in step S540 that the image is harmful, the corresponding image is blocked (S550).

본 발명의 특징은 영상 학습 데이터로부터 색상, 질감, 형태, 피부색, 얼굴, 에지, MPEG-7 기술자, 객체, 의미 분석 등의 멀티모달 정보를 멀티스케일 단위로 분석하고 특징화하고 이러한 특징들을 활용하여 다수준의 유해 분류 모델을 기계 학습을 통해 생성하고, 상기와 같이 생성된 유해 분류 모델을 사용하여 새롭게 입력되는 영상의 유해성을 판단하여 유해 영상을 차단하는 것에 있다. 상기와 같은 멀티모달 정보를 활용한 멀티스케일 단위의 특징에 기반한 다단계 유해 영상 필터링을 사용함으로써, 유해 영상 차단에 있어서 발생하는 과차단율과 오차단율을 현저하게 낮추고 처리 성능과 속도를 향상시킨다.A feature of the present invention is to analyze and characterize multimodal information such as color, texture, shape, skin color, face, edge, MPEG-7 descriptor, object, semantic analysis in multiscale units from image learning data, and utilize these features. Multi-level harmful classification model is generated through machine learning, and the harmful image is blocked by judging the harmfulness of the newly input image using the generated harmful classification model. By using the multi-level harmful image filtering based on the characteristics of the multi-scale unit using the multi-modal information as described above, the over-blocking rate and the error-blocking rate that occur in the harmful image blocking are significantly lowered, and the processing performance and speed are improved.

위에서 설명된 본 발명의 실시예들은 임의의 다양한 방법으로 구현될 수 있다. 예를 들어, 실시예들은 하드웨어, 소프트웨어 또는 그 조합을 이용하여 구현될 수 있다. 소프트웨어로 구현되는 경우에, 다양한 운영체제 또는 플랫폼을 이용하는 하나 이상의 프로세서상에서 실행되는 소프트웨어로서 구현될 수 있다. 추가적으로, 그러한 소프트웨어는 다수의 적합한 프로그래밍 언어들 중에서 임의의 것을 사용하여 작성될 수 있고, 또한 프레임워크 또는 가상 머신에서 실행되는 실행가능 기계어 코드 또는 중간 코드로 컴파일될 수 있다.Embodiments of the invention described above may be implemented in any of a variety of ways. For example, embodiments may be implemented using hardware, software, or a combination thereof. If implemented in software, it may be implemented as software running on one or more processors using various operating systems or platforms. In addition, such software may be written using any of a number of suitable programming languages, and may also be compiled into executable machine code or intermediate code executing on a framework or virtual machine.

또한, 본 발명은 하나 이상의 컴퓨터 또는 다른 프로세서상에서 실행되는 경우 위에서 논의된 본 발명의 다양한 실시예를 구현하는 방법을 수행하는 하나 이상의 프로그램이 기록된 컴퓨터 판독가능 매체(예를 들어, 컴퓨터 메모리, 하나 이상의 플로피 디스크, 콤팩트 디스크, 광학 디스크, 자기 테이프, 플래시 메모리 등)으로 구현될 수 있다. The invention also relates to a computer readable medium (e.g., computer memory, one or more) having recorded thereon one or more programs that perform a method of implementing the various embodiments of the invention discussed above when executed on one or more computers or other processors. Or a floppy disk, a compact disk, an optical disk, a magnetic tape, a flash memory, or the like.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD_ROM, 자기테이프, 플로피디스크 및 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드로 저장되고 실행될 수 있다.The present invention can also be embodied as computer-readable codes on a computer-readable recording medium. The computer-readable recording medium includes all kinds of recording devices in which data that can be read by a computer system is stored. Examples of computer-readable recording media include ROM, RAM, CD_ROM, magnetic tape, floppy disks, and optical data storage, and may also include those implemented in the form of carrier waves (e.g., transmission over the Internet). . The computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.

본 발명의 멀티모달 및 멀티스케일 특징 기반 유해 영상 차단 장치 및 방법은 휴대용 멀티미디 재생 장치(MP3, PMP 등), 핸드폰 및 PDA에도 적용될 수 있다.
Multimodal and multiscale feature-based harmful image blocking device and method of the present invention can be applied to portable multimedia playback devices (MP3, PMP, etc.), mobile phones and PDAs.

이제까지 본 발명에 대하여 그 바람직한 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.So far I looked at the center of the preferred embodiment for the present invention. Those skilled in the art will appreciate that the present invention can be implemented in a modified form without departing from the essential features of the present invention. Therefore, the disclosed embodiments should be considered in descriptive sense only and not for purposes of limitation. The scope of the present invention is shown in the claims rather than the foregoing description, and all differences within the scope will be construed as being included in the present invention.

Claims (14)

영상 학습 데이터로부터 추출되는 멀티모달 정보를 분석하여 멀티스케일 유해 및 무해 특징을 생성하는 멀티스케일 특징 분석부;
상기 생성된 멀티스케일 유해 및 무해 특징을 통계 처리하고 기계 학습을 수행하여 다수준 유해 분류 모델을 생성하는 유해 분류 모델 생성부;
유해성 판별을 위해 입력되는 입력 영상 데이터로부터 추출되는 멀티모달 정보를 분석하여 상기 입력 영상의 멀티스케일 특징중 적어도 하나를 추출하고 상기 추출된 특징을 상기 다수준 유해 분류 모델중 적어도 하나와 비교함으로써 상기 영상의 유해성을 판단하는 유해성 판단부; 및
상기 판단 결과가 유해인 경우 상기 입력 영상을 차단하는 유해 영상 차단부
를 포함하는 멀티모달 및 멀티스케일 특징 기반 유해 영상 차단 장치.
A multiscale feature analysis unit configured to generate multiscale harmful and harmless features by analyzing multimodal information extracted from image learning data;
A hazard classification model generator for generating a multilevel hazard classification model by statistically processing the generated multiscale harmful and harmless features and performing machine learning;
Analyze multi-modal information extracted from input image data input for hazard determination, extract at least one of the multiscale features of the input image, and compare the extracted feature with at least one of the multilevel hazard classification model. Hazard determination unit for determining the harmfulness of; And
A harmful image blocking unit which blocks the input image when the determination result is harmful
Multimodal and multiscale feature-based harmful image blocking device comprising a.
제 1 항에 있어서, 상기 멀티스케일 특징 분석부는,
상기 영상 학습 데이터의 색상 복잡도, 질감 복잡도 및 형태 복잡도 를 분석함으로써 복잡도 기반 특징을 생성하는 거친 알갱이 단위 특징 분석부;
상기 영상 학습 데이터에 포함된 피부색, 얼굴, 에지 정보 및 MPEG-7 기술자를 분석함으로써 단일모달 기반 저수준 특징을 생성하는 중간 알갱이 단위 특징 분석부; 및
상기 영상 학습 데이터로부터 객체를 검출하고 객체의 유해 의미 분석 및 객체 관계 분석을 수행하여 멀티모달 기반 고수준 특징을 생성하는 고운 알갱이 단위 특징 분석부
를 포함하는 멀티모달 및 멀티스케일 특징 기반 유해 영상 차단 장치.
The method of claim 1, wherein the multiscale feature analysis unit,
A coarse grain unit feature analyzer configured to generate a complexity-based feature by analyzing color complexity, texture complexity, and shape complexity of the image learning data;
An intermediate grain unit feature analyzer configured to generate a single modal based low level feature by analyzing skin color, face, edge information, and MPEG-7 descriptor included in the image learning data; And
Fine grain unit feature analysis unit for generating multi-modal based high-level features by detecting an object from the image learning data, and performing harmful meaning analysis and object relation analysis of the object
Multimodal and multiscale feature-based harmful image blocking device comprising a.
제 2 항에 있어서, 상기 거친 알갱이 단위 특징 분석부는,
상기 영상 학습 데이터의 색상 복잡도를 분석하는 색상 복잡도 분석부;
상기 영상 학습 데이터의 질감 복잡도를 분석하는 질감 복잡도 분석부;
상기 영상 학습 데이터의 형태 복잡도를 분석하는 형태 복잡도 분석부;
상기 분석된 색상, 질감 및 형태 복잡도를 참조하여 영상의 종류 및 범주에 따른 복잡도 기반 특징을 추출하는 복잡도 기반 특징 추출부
를 포함하는 멀티모달 및 멀티스케일 특징 기반 유해 영상 차단 장치.
The method of claim 2, wherein the coarse grain unit feature analysis unit,
A color complexity analyzer for analyzing color complexity of the image learning data;
A texture complexity analyzer for analyzing texture complexity of the image learning data;
A shape complexity analyzer for analyzing shape complexity of the image learning data;
A complexity-based feature extractor for extracting a complexity-based feature according to the type and category of an image by referring to the analyzed color, texture, and shape complexity.
Multimodal and multiscale feature-based harmful image blocking device comprising a.
제 2 항에 있어서, 상기 중간 알갱이 단위 특징 분석부는,
상기 영상 학습 데이터로부터 피부색 정보를 검출하는 피부색 검출부;
상기 영상 학습 데이터로부터 얼굴 정보를 검출하는 얼굴 검출부;
상기 영상 학습 데이터로부터 에지 정보를 검출하는 에지 검출부;
상기 영상 학습 데이터로부터 MPEG-7 기술자를 추출하는 MPEG-7 기술자 추출부; 및
상기 피부색, 얼굴, 에지 정보 및 MPEG-7 기술자를 분석하여 영상의 종류 및 범주에 따른 단일 모달 기반 저수준 특징을 추출하는 단일 모달 기반 저수준 특징 추출부
를 포함하는 멀티모달 및 멀티스케일 특징 기반 유해 영상 차단 장치.
The method of claim 2, wherein the intermediate grain unit characteristic analysis unit,
A skin color detector for detecting skin color information from the image learning data;
A face detector detecting face information from the image learning data;
An edge detector detecting edge information from the image learning data;
An MPEG-7 descriptor extractor for extracting an MPEG-7 descriptor from the image learning data; And
A single modal based low level feature extractor which analyzes the skin color, face, edge information and MPEG-7 descriptor to extract a single modal based low level feature according to the type and category of the image.
Multimodal and multiscale feature-based harmful image blocking device comprising a.
제 2 항에 있어서, 상기 고운 알갱이 단위 특징 분석부는,
상기영상 학습 데이터로부터 객체 정보를 검출하는 객체 검출부;
상기 검출된 객체의 유해 의미를 분석하는 객체 의미 분석부;
상기 검출된 객체간의 관계를 분석하는 객체관계 분석부; 및
상기 분석된 객체의 유해 의미 및 객체간의 관계 정보에 기반하여 영상의 종류 및 범주에 따른 멀티모달 기반 고수준 특징을 추출하는 멀티모달 기반 고수준 특징 추출부
를 포함하는 멀티모달 및 멀티스케일 특징 기반 유해 영상 차단 장치.
The method of claim 2, wherein the fine grain unit feature analysis unit,
An object detector detecting object information from the image learning data;
An object semantic analyzer for analyzing harmful meanings of the detected objects;
An object relationship analyzer analyzing the relationship between the detected objects; And
A multi-modal based high level feature extraction unit for extracting multi-modal based high level features according to the type and category of the image based on the harmful meaning of the analyzed object and the relationship information between the objects.
Multimodal and multiscale feature-based harmful image blocking device comprising a.
제 2항에 있어서, 상기 유해 분류 모델 생성부는,
상기 거친 알갱이 단위 특징 분석부에 의해 생성된 상기 복잡도 기반 특징을 이용하여 저수준 유해 분류 모델을 생성하는 저수준 유해 분류 모델 생성부;
상기 중간 알갱이 단위 특징 생성부에 의해 생성된 상기 단일모달 기반 저수준 특징을 이용하여 중수준 유해 분류 모델을 생성하는 중수준 유해 분류 모델 생성부; 및
상기 고운 알갱이 단위 특징 분석부에 의해 생성된 상기 멀티모달 기반 고수준 특징을 이용하여 고수준 유해 분류 모델을 생성하는 고수준 유해 분류 모델 생성부
를 포함하는 멀티모달 및 멀티스케일 특징 기반 유해 영상 차단 장치.
According to claim 2, The harmful classification model generation unit,
A low level hazard classification model generator for generating a low level hazard classification model using the complexity-based feature generated by the coarse grain unit feature analyzer;
A medium hazard classification model generator for generating a medium hazard classification model using the single modal based low level features generated by the intermediate grain unit feature generator; And
A high level hazard classification model generator for generating a high level hazard classification model using the multimodal based high level features generated by the fine grain unit feature analysis unit.
Multimodal and multiscale feature-based harmful image blocking device comprising a.
제 1 항에 있어서, 상기 유해성 판단부는,
상기 입력 영상 데이터의 색상 복잡도, 질감 복잡도 및 형태 복잡도를 분석함으로써 복잡도 기반 특징을 추출하는 거친 알갱이 단위 특징 추출부;
상기 입력 영상 데이터에 포함된 피부색, 얼굴, 에지 정보 및 MPEG-7 기술자를 분석함으로써 단일모달 기반 저수준 특징을 추출하는 중간 알갱이 단위 특징 추출부;
상기 입력 영상 데이터에 포함된 객체를 검출하고 객체의 유해 의미 분석 및 객체 관계 분석을 수행하여 멀티모달 기반 고수준 특징을 추출하는 고운 알갱이 단위 특징 추출부; 및
상기 거친 알갱이 단위 특징 추출부, 상기 중간 알갱이 단위 특징 추출부 및 상기 고운 알갱이 단위 특징 추출부중 적어도 하나로부터 추출된 적어도 하나의 멀티스케일 특징을 상기 다수준 유해 분류 모델중 적어도 하나와 비교함으로써 상기 영상의 유해성을 판단하는 영상 유해성 판단부
를 포함하는 멀티모달 및 멀티스케일 특징 기반 유해 영상 차단 장치.
According to claim 1, wherein the hazard determination unit,
A coarse grain unit feature extraction unit for extracting a complexity-based feature by analyzing color complexity, texture complexity, and shape complexity of the input image data;
An intermediate grain unit feature extraction unit for extracting a single modal based low level feature by analyzing skin color, face, edge information, and MPEG-7 descriptor included in the input image data;
A fine grain unit feature extraction unit for extracting a multimodal based high level feature by detecting an object included in the input image data and performing harmful semantic analysis and object relationship analysis of the object; And
Comparing the at least one multiscale feature extracted from at least one of the coarse grain unit feature extractor, the intermediate grain unit feature extractor, and the fine grain unit feature extractor with at least one of the multilevel hazard classification model Image Hazard Determination Unit
Multimodal and multiscale feature-based harmful image blocking device comprising a.
제 7 항에 있어서, 상기 입력 영상 데이터의 종류 및 범주에 따라 상기 거친 알갱이 단위 특징 추출부, 상기 중간 알갱이 단위 특징 추출부 및 상기 고운 알갱이 단위 특징 추출부중 일부 또는 전체를 선택하여 상기 입력 영상 데이터의 멀티스케일 특징중 적어도 하나를 선택적으로 추출하는 멀티모달 및 멀티스케일 특징 기반 유해 영상 차단 장치.
The method of claim 7, wherein some or all of the coarse grain unit feature extractor, the intermediate grain unit feature extractor, and the fine grain unit feature extractor are selected according to the type and category of the input image data. A multimodal and multiscale feature based harmful image blocking device for selectively extracting at least one of multiscale features.
제 7 항에 있어서, 상기 멀티스케일 특징 추출 및 유해성 판단부는 상기 입력 영상 데이터의 종류 및 범주에 따라 상기 저수준 유해 분류 모델, 상기 중수준 유해 분류 모델 및 상기 고수준 유해 분류 모델중 적어도 하나를 선택하여 상기 입력 영상 데이터의 특징과 비교하는 멀티모달 및 멀티스케일 특징 기반 유해 영상 차단 장치.
The method of claim 7, wherein the multiscale feature extraction and hazard determination unit selects at least one of the low level hazard classification model, the medium level hazard classification model, and the high level hazard classification model according to the type and category of the input image data. Multimodal and multiscale feature based noisy image blocker to compare the characteristics of input image data.
영상 학습 데이터로부터 추출되는 멀티모달 정보를 분석하여 멀티스케일 유해 및 무해 특징을 생성하는 단계;
상기 생성된 멀티스케일 유해 및 무해 특징을 통계 처리하고 기계 학습을 적용하여 다수준 유해 분류 모델을 생성하는 단계;
유해성 판별을 위해 입력되는 입력 영상 데이터의 멀티모달 정보를 분석하여 상기 입력 영상에 대한 멀티스케일 특징중 적어도 하나를 추출하는 단계;
상기 입력 영상 데이터로부터 추출된 상기 적어도 하나의 멀티스케일 특징을 상기 다수준 유해 분류 모델중 적어도 하나와 비교함으로써 상기 입력 영상의 유해성을 판단하는 단계; 및
상기 판단 결과가 유해인 경우 상기 입력 영상을 차단하는 단계
를 포함하는 멀티모달 및 멀티스케일 특징 기반 유해 영상 차단 방법.
Analyzing the multi-modal information extracted from the image training data to generate multiscale harmful and harmless features;
Statistically processing the generated multiscale harmful and harmless features and applying machine learning to generate a multilevel hazard classification model;
Extracting at least one of the multi-scale features of the input image by analyzing multimodal information of input image data inputted for harmfulness determination;
Determining a hazard of the input image by comparing the at least one multiscale feature extracted from the input image data with at least one of the multilevel hazard classification models; And
Blocking the input image when the determination result is harmful
Multimodal and multiscale feature-based harmful image blocking method comprising a.
제 10 항에 있어서, 상기 멀티스케일 유해 및 무해 특징을 생성하는 단계는,
상기 영상 학습 데이터의 색상 복잡도, 질감 복잡도 및 형태 복잡도를 분석함으로써 복잡도 기반 특징을 생성하는 단계;
상기 영상 학습 데이터에 포함된 피부색, 얼굴, 에지 정보 및 MPEG-7 기술자를 분석함으로써 단일모달 기반 저수준 특징을 생성하는 단계; 및
상기 영상 학습 데이터로부터 객체를 검출하고 객체의 유해 의미 분석 및 객체 관계 분석을 수행하여 멀티모달 기반 고수준 특징을 생성하는 단계
를 포함하는 멀티모달 및 멀티스케일 특징 기반 유해 영상 차단 방법.
The method of claim 10, wherein generating the multiscale harmful and harmless features comprises:
Generating a complexity-based feature by analyzing color complexity, texture complexity, and shape complexity of the image learning data;
Generating a single modal based low level feature by analyzing skin color, face, edge information and MPEG-7 descriptor included in the image learning data; And
Detecting an object from the image learning data, performing harmful meaning analysis and object relation analysis of the object to generate a multimodal based high level feature
Multimodal and multiscale feature-based harmful image blocking method comprising a.
제 11 항에 있어서, 상기 생성된 멀티스케일 단위의 유해 및 무해 특징을 통계 처리하고 기계 학습을 적용하여 다수준 유해 분류 모델을 생성하는 단계는,
상기 복잡도 기반 특징을 이용하여 저수준 유해 분류 모델을 생성하는 단계;
상기 단일모달 기반 저수준 특징을 이용하여 중수준 유해 분류 모델을 생성하는 단계; 및
상기 멀티모달 기반 고수준 특징을 이용하여 고수준 유해 분류 모델을 생성하는 단계
를 포함하는 멀티모달 및 멀티스케일 특징 기반 유해 영상 차단 방법.
12. The method of claim 11, wherein statistically processing the harmful and harmless features of the generated multiscale unit and applying machine learning to generate a multilevel hazard classification model,
Generating a low level hazard classification model using the complexity based feature;
Generating a midlevel harmful classification model using the single modal based low level feature; And
Generating a high level hazard classification model using the multimodal based high level features
Multimodal and multiscale feature-based harmful image blocking method comprising a.
제 10 항에 있어서, 상기 입력 영상에 대한 멀티스케일 특징중 적어도 하나를 추출하는 단계는,
상기 입력 영상 데이터의 색상 복잡도, 질감 복잡도 및 형태 복잡도를 분석하고 상기 분석된 복잡도에 기반하여 복잡도 기반 특징을 추출하는 단계;
상기 입력 영상 데이터로부터 피부색 정보, 얼굴 정보, 에지 정보 및 MPEG-7 기술자 정보를 추출하고 상기 추출된 정보에 기반하여 단일모달 기반 저수준 특징을 추출하는 단계; 및
상기 입력 영상 데이터의 객체 정보, 의미정보 및 객체사이의 관계정보를 분석하고 상기 분석 결과에 기반하여 멀티모달기반 고수준 특징을 추출하는 단계중 적어도 하나를 수행함으로써 적어도 하나 멀티스케일 특징을 추출하는 멀티모달 및 멀티스케일 특징 기반 유해 영상 차단 방법.
The method of claim 10, wherein the extracting at least one of the multiscale features of the input image comprises:
Analyzing color complexity, texture complexity, and shape complexity of the input image data and extracting a complexity based feature based on the analyzed complexity;
Extracting skin color information, face information, edge information, and MPEG-7 descriptor information from the input image data, and extracting a single modal based low level feature based on the extracted information; And
Analyzing object information, semantic information, and relationship information between the objects of the input image data and extracting at least one multiscale feature by performing at least one of extracting a multimodal based high level feature based on the analysis result And multiscale feature based harmful image blocking method.
제 10 항에 있어서, 상기 입력 영상에 대한 멀티스케일 특징중 적어도 하나를 추출하는 단계는, 상기 입력 영상의 종류 및 범주에 따라, 복잡도 기반 특징, 단일모달기반 저수준 특징 및 멀티모달기반 고수준 특징중 적어도 하나를 추출하는 멀티모달 및 멀티스케일 특징 기반 유해 영상 차단 방법.The method of claim 10, wherein the extracting at least one of the multiscale features of the input image comprises at least one of a complexity-based feature, a single-modal-based low-level feature, and a multi-modal-based high-level feature according to the type and category of the input image. Multimodal and multiscale feature based harmful image blocking method for extracting one.
KR1020100107618A 2009-12-21 2010-11-01 Apparatus and method for blocking the objectionable multimedia based on multimodal and multiscale features KR101384317B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US12/966,230 US20110150328A1 (en) 2009-12-21 2010-12-13 Apparatus and method for blockiing objectionable image on basis of multimodal and multiscale features

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20090127868 2009-12-21
KR1020090127868 2009-12-21

Publications (2)

Publication Number Publication Date
KR20110073238A true KR20110073238A (en) 2011-06-29
KR101384317B1 KR101384317B1 (en) 2014-04-14

Family

ID=44404047

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100107618A KR101384317B1 (en) 2009-12-21 2010-11-01 Apparatus and method for blocking the objectionable multimedia based on multimodal and multiscale features

Country Status (1)

Country Link
KR (1) KR101384317B1 (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111914108A (en) * 2019-05-07 2020-11-10 鲁东大学 Discrete supervision cross-modal Hash retrieval method based on semantic preservation
US10965907B2 (en) 2017-04-17 2021-03-30 Hyperconnect, Inc. Video communication device, video communication method, and video communication mediating method
US11184582B2 (en) 2019-10-01 2021-11-23 Hyperconnect, Inc. Terminal and operating method thereof
KR20210158311A (en) 2020-06-23 2021-12-30 한국전자통신연구원 Apparatus and method for generating grade-controllable video
US11553157B2 (en) 2016-10-10 2023-01-10 Hyperconnect Inc. Device and method of displaying images
US11716424B2 (en) 2019-05-10 2023-08-01 Hyperconnect Inc. Video call mediation method
US11825236B2 (en) 2020-01-31 2023-11-21 Hyperconnect Inc. Terminal and operating method thereof

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100658799B1 (en) * 2005-08-17 2006-12-19 (주)엠아이티소프트 system and method for blocking pornography
KR100687732B1 (en) * 2005-11-24 2007-02-27 한국전자통신연구원 Method for filtering malicious video using content-based multi-modal features and apparatus thereof

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11553157B2 (en) 2016-10-10 2023-01-10 Hyperconnect Inc. Device and method of displaying images
US10965907B2 (en) 2017-04-17 2021-03-30 Hyperconnect, Inc. Video communication device, video communication method, and video communication mediating method
US11323659B2 (en) 2017-04-17 2022-05-03 Hyperconnect Inc. Video communication device, video communication method, and video communication mediating method
US11722638B2 (en) 2017-04-17 2023-08-08 Hyperconnect Inc. Video communication device, video communication method, and video communication mediating method
CN111914108A (en) * 2019-05-07 2020-11-10 鲁东大学 Discrete supervision cross-modal Hash retrieval method based on semantic preservation
US11716424B2 (en) 2019-05-10 2023-08-01 Hyperconnect Inc. Video call mediation method
US11184582B2 (en) 2019-10-01 2021-11-23 Hyperconnect, Inc. Terminal and operating method thereof
US11825236B2 (en) 2020-01-31 2023-11-21 Hyperconnect Inc. Terminal and operating method thereof
KR20210158311A (en) 2020-06-23 2021-12-30 한국전자통신연구원 Apparatus and method for generating grade-controllable video

Also Published As

Publication number Publication date
KR101384317B1 (en) 2014-04-14

Similar Documents

Publication Publication Date Title
US20110150328A1 (en) Apparatus and method for blockiing objectionable image on basis of multimodal and multiscale features
US10628486B2 (en) Partitioning videos
KR101384317B1 (en) Apparatus and method for blocking the objectionable multimedia based on multimodal and multiscale features
US10503903B2 (en) Method, system, and device for inferring malicious code rule based on deep learning method
KR100759798B1 (en) Apparatus for blocking harmful multimedia in PC through intelligent screen monitoring and method thereof
KR20110066676A (en) Apparatus and method for blocking the objectionable multimedia based on skin-color and face information
CN109690471B (en) Media rendering using orientation metadata
CN107948730B (en) Method, device and equipment for generating video based on picture and storage medium
CN113381963A (en) Domain name detection method, device and storage medium
Kumar et al. A novel approach for ISL alphabet recognition using Extreme Learning Machine
CN106330915A (en) Voice verification processing method and device
KR20230038088A (en) Method for de-identifying personally identifiable information contained in video data, and device performing the same
Khanna Identifying Privacy Vulnerabilities in Key Stages of Computer Vision, Natural Language Processing, and Voice Processing Systems
Butt et al. Towards secure private and trustworthy human-centric embedded machine learning: An emotion-aware facial recognition case study
Karappa et al. Detection of sign-language content in video through polar motion profiles
Santos et al. Efficient violence detection using transfer learning
Shipman et al. Speed-accuracy tradeoffs for detecting sign language content in video sharing sites
CN112837202A (en) Watermark image generation and attack tracing method and device based on privacy protection
Li et al. Detection of partially occluded pedestrians by an enhanced cascade detector
KR20200072724A (en) An apparatus for detecting spam news with spam phrases, a method thereof and computer recordable medium storing program to perform the method
KR102348368B1 (en) Device, method, system and computer readable storage medium for generating training data of machine learing model and generating fake image using machine learning model
CN115168895A (en) User information threat analysis method and server combined with artificial intelligence
CN111563276B (en) Webpage tampering detection method, detection system and related equipment
Mircoli et al. Automatic extraction of affective metadata from videos through emotion recognition algorithms
CN113569091A (en) Video data processing method and device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180404

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190404

Year of fee payment: 6