KR100734845B1 - 이미지 품질 판별 기능을 이용한 유해 동영상 분류 방법 및그 장치 - Google Patents

이미지 품질 판별 기능을 이용한 유해 동영상 분류 방법 및그 장치 Download PDF

Info

Publication number
KR100734845B1
KR100734845B1 KR1020050110822A KR20050110822A KR100734845B1 KR 100734845 B1 KR100734845 B1 KR 100734845B1 KR 1020050110822 A KR1020050110822 A KR 1020050110822A KR 20050110822 A KR20050110822 A KR 20050110822A KR 100734845 B1 KR100734845 B1 KR 100734845B1
Authority
KR
South Korea
Prior art keywords
video
image
harmful
svm
quality
Prior art date
Application number
KR1020050110822A
Other languages
English (en)
Other versions
KR20070052971A (ko
Inventor
이호균
이승민
남택용
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020050110822A priority Critical patent/KR100734845B1/ko
Publication of KR20070052971A publication Critical patent/KR20070052971A/ko
Application granted granted Critical
Publication of KR100734845B1 publication Critical patent/KR100734845B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명에 의한 이미지 품질 판별 기능을 이용한 유해 동영상 분류 방법은 적어도 하나 이상의 저화질 동영상의 정지화면을 기초로 하는 SVM(Support Vector Machine)영상학습모델과 음성특성을 기초로 하는 SVM음성학습모델을 생성하는 단계; 유해 판정이 필요한 입력 동영상의 정지영상에서 GoF 속성 평균을 추출하여 상기 SVM영상학습모델에 대입하여 저화질 여부를 결정하는 단계; 및 저화질로 결정된 동영상에 대하여는 그 동영상에서 음성정보를 추출하여 상기 SVM 음성학습모델에 대입하여 유해 여부를 판단하고, 고화질로 결정된 동영상에 대하여는 색상정보를 기초로 유해 여부를 판단하는 단계;를 포함하는 것을 특징으로 하며, 저화질 동영상에 대해서 음성 정보를 추가적으로 적용해서 그 유해 여부를 판정함으로써 기존의 유해 동영상 분류 기술의 성능을 더욱 향상시킬 수 있고, 이를 통해 시장성이 있는 유해물 차단 제품을 개발할 수 있다.
동영상 분류, 유해 컨텐츠 차단, 이미지 품질 판별

Description

이미지 품질 판별 기능을 이용한 유해 동영상 분류 방법 및 그 장치{Method for discriminating malicious video using image quality classification and apparatus thereof}
도 1은 일반적인 유해 동영상을 판별하기 위한 과정을 보여주는 흐름도이다.
도 2는 본 발명에 의한 이미지 품질 판별 기능을 이용한 유해 동영상 분류 방법의 과정을 보여주는 흐름도이다.
도 3은 도 1의 SVM 학습모델을 생성하는 과정(S210)을 상세하게 보여주는 흐름도이다.
도 4는 도 1의 입력동영상의 정지영상의 유해/무해 판별을 위한 과정(S220)을 상세하게 보여주는 흐름도이다.
도 5는 도 1의 저화질 동영상의 음성정보를 이용한 유해 여부 판단 과정(S240)을 상세하게 보여주는 흐름도이다.
도 6은 도 2의 고화질 동영상의 유해 여부를 판단하는 과정(S250)을 상세하게 보여주는 흐름도이다.
도 7은 본 발명에 의한 이미지 품질 판별 기능을 이용한 유해 동영상 분류 장치의 구성을 보여주는 블록도이다.
본 발명은 이미지 품질 판별 기능을 이용한 유해 동영상을 분류하는 방법 및 그 장치에 관한 것으로서, 보다 상세하게는 동영상을 고화질과 저화질로 분류한 후 고화질로 분류된 동영상에 대하여는 정지영상의 시각 정보를 이용하여 유해 여부를 판정하고, 저화질로 분류된 동영상에 대하여는 음성정보를 이용하여 유해 여부를 판정하는 방법 및 그 장치에 관한 것이다.
현재 신기술 개발과 음란물의 유포는 밀접한 관련이 있다는 속설이 나올 정도로 신기술의 등장은 음란물 유포 속도가 배가되고 있는 상황이다. 20세기 초 영사기의 발명을 시작으로 70년대 가정용 비디오 플레이어 기술 도입부터 90년대 인터넷의 보급까지 신기술의 도입은 음란물의 보다 손쉬운 유포를 가져왔고, 2000년 현재에 들어서는 인터넷과 멀티미디어, P2P, 메신져 기술의 발달로 포르노 유비쿼터스 시대가 된듯한 상황이다. 아침에 출근해서 메일 검색만 해도 음란물 광고 지우기부터 시작하고, P2P 프로그램을 돌려보면 간단한 검색어 입력만으로도 수 테라의 음란물이 쏟아지고 있다. 멀티미디어 채팅 기능으로 심지어는 미성년자들까지도 음란 화상 채팅을 하고 있다. 일련의 상황들은 스팸 방지 S/W, 음란 사이트 차단 제품, 음란 이미지 판별 시스템과 같은 새로운 제품과 시장을 이끌어 내고 있다.
이미지 품질 검사 기능은 아주 유명한 연구 이슈로 오랜 기간 동안 연구되어 왔으나, 아직도 제한적인 성공 사례만이 발표되었을 뿐이다. 이미지 품질 검사 기능은 비디오 스트리밍 서비스의 자체 품질 검사 과정, 이미지 프로세싱 시스템의 벤치 마킹 등에서 아주 중요한 부분을 차지하는 기능이지만, 아직도 인간의 시각 체계와 일치하는 이미지 품질 검사 기능을 개발이 요원한 실정이다.
유해 동영상 판별 시스템에서도 이미지 품질 검사 기능은 전처리 기능으로서 매우 중요한 부분을 차지한다. 아직까지 대부분의 유해 동영상 판별 시스템은 정지 영상의 유해성에 따라서 동영상 전체의 유해 여부를 판정한다. 이때 정지 영상의 유해를 결정하는 특성으로 색상(살색 유무)과 형태가 사용되는데 동영상의 품질이 떨어질 경우, 기대하던 대로 특성을 추출할 수가 없게 된다. 밤에 촬영되거나 CCTV 등으로 촬영된 경우 색상 정보를 얻을 수 없고, 기록 매체나 촬영 기기가 조악한 경우에는 영상의 왜곡이 심해서 형태 정보(Texture) 등을 제대로 얻을 수 없는 문제점이 있다.
이와 같이 시험 동영상의 특성을 제대로 얻을 수 없을 경우, 전처리 단계에서 이를 판정해서 다른 특성을 적용하도록 하거나 혹은 판정 불가 판정을 미리 내려야 전체 시스템의 성능 하락을 막을 수 있다. 본 발명에서 정의하는 고화질, 저화질은 인간의 인식 시스템과 일치하는 대상이 아니다. 유해 동영상 분류에서만 적용되는 또 하나의 부분적이고 제한적인 성공 사례가 되려고 한다. 유해 동영상에서 정의하는 저화질 동영상은 밤에 촬영되거나 CCTV로 촬영되어서 살색 정보가 없는 동영상을 말한다. 하지만 무조건 살색 정보가 없다고 해서 저화질 동영상으로 분류하면 명백한 무해 동영상도 모두 다른 특성 검사 모듈을 거쳐야 되는 문제점이 발생하게 된다.
본 발명이 이루고자 하는 기술적 과제는 상기의 문제점을 해결하기 위하여 안출된 것으로서, 유해 판단이 필요한 동영상을 고화질과 저화질로 분류한 후 고화질로 분류된 동영상에 대하여는 정지영상의 시각 정보를 이용하여 유해 여부를 판정하고, 저화질로 분류된 동영상에 대하여는 음성정보를 이용하여 유해 여부를 판정하는 방법 및 그 장치를 제공하는데 있다.
상기의 기술적 과제를 이루기 위하여 본 발명에 의한 이미지 품질 판별 기능을 이용한 유해 동영상 분류 방법은 적어도 하나 이상의 저화질 동영상의 정지화면을 기초로 하는 SVM(Support Vector Machine)영상학습모델과 음성특성을 기초로 하는 SVM음성학습모델을 생성하는 단계; 유해 판정이 필요한 입력 동영상의 정지영상에서 GoF 속성 평균을 추출하여 상기 SVM영상학습모델에 대입하여 저화질 여부를 결정하는 단계; 및 저화질로 결정된 동영상에 대하여는 그 동영상에서 음성정보를 추출하여 상기 SVM 음성학습모델에 대입하여 유해 여부를 판단하고, 고화질로 결정된 동영상에 대하여는 색상정보를 기초로 유해 여부를 판단하는 단계;를 포함하는 것을 특징으로 한다.
상기의 기술적 과제를 이루기 위하여 본 발명에 의한 이미지 품질 판별 기능을 이용한 유해 동영상 분류 장치는 저화질 동영상의 소정의 영상특성을 기초로 SVM 영상학습모델을 생성하고 소정의 음성특성을 기초로 SVM 음성학습모델을 생성하는 SVM학습모델부; 유해 판단이 필요한 입력 동영상의 정지영상을 추출한 후 상기 영상정보를 추출한 후 상기 SVM 영상학습모델에 입력하여 화질의 고저를 결정하 는 제1판단부; 및 상기 입력 동영상과 제1판단부의 결정 결과를 입력받아 상기 입력 동영상의 유해 여부를 결정하는 제2판단부;를 포함하는 것을 특징으로 한다.
이하 첨부된 도면을 참조하면서 본 발명의 바람직한 일 실시예를 상세히 설명하도록 한다. 그에 앞서 본 발명의 필요성을 간단히 서술한다. 유해 이미지 판정 기술은 색상 정보(살색 정보), 형태정보, MPEG7 특성들을 이용한 시스템 등이 제안되었다. 살색 정보를 기반으로 한 시스템에서는 살색 정보 특성을 잘 추출하는 것이 중요하다. MPEG-7 특성으로는 여러 색상 식별자(DCD, SCD, GoF)가 정의되어 있다. MPEG-7 특성도 결국은 색상 정보를 기반으로 하기 때문에 살색 정보를 찾는다는 점에서 같은 도메인에서의 접근 방법이라고 하겠다. 이와 같은 색상 정보 기반 접근 방법의 단점은 살색이 없으면 탐지가 불가능하다는 것이다. 일반인들이 제작한 몰래카메라로 촬영한 동영상이나, CCTV로 촬영된 동영상, 화상 채팅등에서 이루어진 음란물의 경우에는 촬영 기기나, 저장 매체가 조악해서 그 정지 영상에서 색상 정보나 형태 정보를 정상적인 이미지에서 추출한 수준으로 기대하기가 어렵다. 따라서 동영상 판정 전에 전처리 과정에서 이러한 저수준, 저화질의 동영상을 걸러내서 다른 특성으로 판정하는 단계가 필요하게 된다. 본 발명은 이러한 점을 보완하고 적용하는 방법 및 장치에 관한 것이다. 이하 설명의 편의를 위하여 장치 및 방법을 함께 서술하도록 한다.
기존의 유해 동영상 판별장치의 문제점을 도 1을 참조하면서 살펴본다. 유해 판단이 필요한 동영상이 입력되면(S110) 그 동영상에서 정지영상이 추출된다(S120). 정지영상에서 살색 정보, 형태정보등의 색상정보가 추출되고(S130) 이 색상정보를 기초로 정지영상의 유해 여부가 결정되며(S140), 이 정지영상의 유해 판단 결과를 이용하는 여러 방법을 통하여 궁극적으로 동영상의 유해 여부가 판정된다(S150). 이와 같은 전형적인 절차를 적용하는 경우에는 시각 정보를 충분히 얻을 수 없는 저화질 동영상에 대해서는 높은 성능을 기대할 수 없게 된다. 따라서 화질을 식별할 수 있는 전처리 단계가 추가될 필요성이 있다. 이를 해결하기 위해서 화질을 식별할 수 있는 전처리 단계를 추가한다. 전처리 단계에서 고화질 동영상과 저화질 동영상을 분류한다. 이를 통해서 기존 방식에서는 찾기 어려웠던 저화질 유해 동영상에 대한 탐지율을 높인다. 본 발명에서 정의하고 있는 저화질 동영상은 인간의 시각 체계로 보는 광의적인 저화질 동영상이 아니라 저화질 유해 동영상들을 말한다. 그 예로 CCTV 화면, 나이트 샷 등을 들수 있다. 이들의 특징은 동영상 전체에 걸쳐서 사용된 색상의 수가 적다는 것이다. GoF는 동영상 전체의 평균 색상 특성을 잘 나타내주는 특성으로서 이를 이용해서 학습을 시키면 저화질 유해 화면의 색상 특성을 잘 구분해 줄 수 있다.
도 2는 본 발명에 의한 이미지 품질 판별 기능을 이용한 고성능 유해 동영상 분류 방법의 과정을 보여주는 흐름도이고, 도 7은 본 발명에 의한 이미지 품질 판별 기능을 이용한 고성능 유해 동영상 분류 장치의 구성을 보여주는 블록도이다.
먼저, SVM 학습모델부(710)는 전처리 단계에서 화질 판정의 기준이 되는 학습 모델을 생성한다(S210). 그 과정을 도 2의 SVM 학습모델을 생성하는 과정(S210)을 상세하게 보여주는 흐름도인 도 3을 참조하면서 상세하게 살펴본다. 우선 저화질 유해 동영상을 정의하기 위해서 해당 동영상을 수집한다(S310). 저화질 동영상에는 CCTV로 촬영한 동영상, 야간에 촬영한 동영상, VHS 테이프에 저장되어있던 동영상, 단색으로만 된 동영상등이 있을 수 있다. 이렇게 수집된 동영상에서 MPEG-7에서 정의하는 GoF 특성을 추출하고(S320) 이 값들을 SVM(Support Vector Machine)으로 학습시킨다. SVM 은 근래 가장 각광받고 있는 컴퓨터 학습 방식으로 서로 다른 두 개의 그룹을 입력시키면 두 그룹을 구분하는 기준을 자동으로 계산해낸다. 본 발명에서는 GoF 값을 입력값으로 하여 이와 같은 SVM(이하 "SVM 영상학습모델"이라고 함)을 이용해서 일반 동영상과 저화질 유해 동영상 후보를 구분하는 기준을 찾는다(S330).
다음으로, 제1판단부(720)는 유해 판단이 요구되는 입력 동영상의 GoF 특성을 추출한 후 SVM 영상학습모델에 적용하여(S220), 입력 동영상이 고화질인지 혹은 저화질인지를 판단하게 되는데, 도 2의 입력동영상의 정지영상의 유해/무해 판별을 위한 과정(S220)을 상세하게 보여주는 흐름도인 도 4를 참조하면서 상세하게 설명한다.
본 발명의 경우 유해 판단을 할 동영상의 정지영상을 추출하는데 있어서, 재생중인 경우에도 효율적인 판단을 하기 위하여 경우를 다르게 한다. 이를 위하여 먼저 동영상에서 정지 영상을 추출해야 한다. 즉 먼저 입력 동영상이 재생중인 동영상인지를 판단한다(S410). 판단 결과 재생중인 동영상이 아닌 경우에는 시험 정지 영상을 N장 추출한다(S430). 정지 영상 추출 단계에서는 두 가지 방식을 채택한다. 첫 번째 방식은 정 간격, 정 개수 추출방식이다. 주어진 동영상을 인내 가능한 시간 범위 내에서 판정할 수 있는 개수를 정해서 그만큼의 정지영상을 추출하는 방 식이다. 두 번째 방식은 압축 영역에서 샷 추출을 수행한 이후에 추출한 샷에 대해서 화질 검사를 수행하는 방식이다. 후자는 같은 컨텐츠에 대한 장면을 중복 검사하지 않으면서도 모든 장면을 검사할 수 있다는 점에서 더 높은 정확성을 기대할 수 있지만 샷 추출 시간만큼 시간이 더 걸린다는 단점이 있다.
그러나 재생중인 동영상인 경우에는 동영상 전체의 유해 여부를 판정하기 위해서 미리 정지 영상을 모두 추출하지 않고 재생 도중에 정지 영상을 1장씩 추출하도록 한다(S420). 이때 추출 간격은 동영상 재생에 영향을 끼치지 않는 수준으로 결정한다. 재생하고 있는 동영상에서 추출한 정지 영상이 임계치 이상으로 연속적으로 유해로 판정된다면 동영상 재생기에서 동영상 재생을 중단하도록 한다. 이때 임계치는 정지 영상 판정 정확도에 따라서 변경될 수 있다.
다음으로 정지 영상에서 살색 영역을 추출한 후(S440), 상기 SVM 영상 학습 모델에 입력하여(S450), 정지 영상들의 유해 여부를 판단하고(S460), 결과적으로 입력동영상의 화질 여부 즉 고화질 인지 혹은 저화질 동영상인지를 결정한다(S230).
제2판단부(730)는 상기 입력 동영상과 제1판단부(720)의 결정 결과를 입력받아 상기 입력 동영상의 유해 여부를 결정하는데, 고화질판단부(731)와 저화질판단부(732)로 이루어진다. 먼저 고화질판단부(731)는 입력동영상이 고화질 동영상으로 결정된 경우에, 시각정보를 이용하여 유해 여부를 판정한다(S250). 이를 도 6을 참조하면서 보다 상세하게 서술한다. 먼저 입력 동영상의 정지영상의 살색 정보가 입력되면(S610) 상기 SVM 영상학습모델에 입력하여(S620) 정지 영상별 유해 여부가 판별된다(S630). 여기서 사용되는 유해 판정용 SVM 영상학습모델은 도 3에서 설명한 저화질 판정용 학습 모델과 같은 방식으로 유해 정지영상을 수집해서 미리 학습시켜 둔 것이다. 그리고 이 과정들은 설명의 편의를 위하여 다시 한번 도시한 것이다. 각 정지영상의 유해 판정이 완료된 후 이 결과를 이용해서 전제 동영상의 유해 여부를 판정하게 되는데, 이 때 판정에는 두 가지의 경우가 있을 수 있다. 즉 동영상의 유해를 판단하는 방법이 평균값 기반인지 아닌지에 따라 적용되는 공식이 달라진다(S640). 먼저 평균값 기반인 경우를 설명한다. 이 경우는 정지영상 유해 판정 결과값의 평균이 소정의 임계치와 비교하여(S650), 이상이면 유해로 판단하고(S660), 미만이면 무해한 동영상으로 판단한다(S670). 두 번째로, 평균치 기반이 아닌 경우에는 유해 정지영상의 개수가 전체 정지영상 개수에서 차지하는 백분율과 소정의 임계치를 비교하여(S680) 그 백분율이 임계치 이상이면 유해한 동영상으로 판단하고(S660), 미만이면 무해한 동영상으로 판단한다(S690). SVM을 사용하면 판별 기준에 얼마나 가까운지에 따라서 실수값들을 출력해 준다. 정지 영상 유해 판정 과정에서 각 정지 영상의 유해도를 실수값으로 구할 수 있는데 이 값의 평균을 구해서 S650 단계와 같은 판정을 할 수 있다.
저화질판단부(732)는 저화질 동영상으로 판단된 경우에 음성정보를 SVM 음성학습모델에 대입하여 유해여부를 판정하는데(S240), 저화질 동영상의 음성정보를 이용한 유해 여부 판단 과정(S240)을 상세하게 보여주는 흐름도인 도 5를 참조하면서 보다 상세하게 설명한다. 위에서 살펴본 것처럼 저화질 유해 동영상 후보로 판정되었다면 시각 정보를 활용하는 것으로 효과적이지 않다는 것을 알 수 있다. 따 라서 시험 동영상에서 음성 정보를 추출(S510)한 다음 그 음성정보에서 특성값 예를 들면 파워, 피치등을 다시 한번 추출한 후 SVM 음성학습모델에 입력하여(S530), 유해 음성의 포함 여부를 검사한다(S540). 여기서 SVM 음성학습모델은 도 3에서 설명한 SVM 영상학습모델을 구축하는 것과 유사하게 여러 동영상의 음성특성을 학습시켜 구축한다). 유해한 음성이 아니면 그 정지영상은 무해한 것이므로 다음 정지영상의 음성정보 추출단계로 넘어간다. 그러나 만약 유해한 음성으로 결정되면 전체 동영상을 유해한 것으로 판단하게 된다(S550).
본 발명에 의한 이미지 품질 판별 기능을 이용한 유해 동영상 분류 방법은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 하드 디스크, 플로피 디스크, 플래쉬 메모리, 광 데이타 저장장치등이 있으며, 또한 캐리어 웨이브(예를들면 인터넷을 통한 전송)의 형태로 구현되는 것도 포함된다. 또한 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다. 또한 본 발명에 의한 폰트 롬 데이터구조도 컴퓨터로 읽을 수 있는 ROM, RAM, CD-ROM, 자기 테이프, 하드 디스크, 플로피 디스크, 플래쉬 메모리, 광 데이타 저장장치등과 같은 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다.
이상과 같이 본 발명은 양호한 실시예에 근거하여 설명하였지만, 이러한 실 시예는 이 발명을 제한하려는 것이 아니라 예시하려는 것으로, 본 발명이 속하는 기술분야의 숙련자라면 이 발명의 기술사상을 벗어남이 없이 위 실시예에 대한 다양한 변화나 변경 또는 조절이 가능함이 자명할 것이다. 그러므로, 이 발명의 보호범위는 첨부된 청구범위에 의해서만 한정될 것이며, 위와 같은 변화예나 변경예 또는 조절예를 모두 포함하는 것으로 해석되어야 할 것이다.
이상에서 설명한 바와 같이 본 발명에 의한 이미지 품질 판별 기능을 이용한 유해 동영상 분류 방법 및 그 장치에 의하면, 유해 동영상 분류 시스템의 성능을 낮추는 원인이 되는 저화질 유해 동영상을 전처리 단계에서 추려낼 수 있으며, 선별된 저화질 동영상에 대해서 음성 정보를 추가적으로 적용해서 그 유해 여부를 판정할 수 있다. 또한 본 발명을 통해서 기존의 유해 동영상 분류 기술의 성능을 더욱 향상시킬 수 있고, 이를 통해 시장성이 있는 유해물 차단 제품을 개발할 수 있다.

Claims (10)

  1. (a) 적어도 한 종류 이상의 저화질 동영상의 정지화면을 기초로 하는 SVM(Support Vector Machine)영상학습모델과 음성특성을 기초로 하는 SVM음성학습모델을 생성하는 단계;
    (b) 유해 판정이 필요한 입력 동영상의 정지영상에서 GoF 속성 평균을 추출한 후 상기 SVM영상학습모델에 대입하여 저화질 여부를 결정하는 단계; 및
    (c) 저화질로 결정된 동영상에 대하여는 그 동영상에서 음성정보를 추출하여 상기 SVM 음성학습모델에 대입하여 유해 여부를 판단하고, 고화질로 결정된 동영상에 대하여는 색상정보를 기초로 유해 여부를 판단하는 단계;를 포함하는 것을 특징으로 하는 이미지 품질 판별을 통한 유해 동영상 분류 방법.
  2. 제1항에 있어서, 상기 (a)단계는
    (a1) 적어도 하나 이상의 저화질 동영상들의 정지영상을 추출하는 단계;
    (a2) 상기 정지영상에서 GoF 특성을 포함하는 영상특성과 파워를 포함하는 음성특성을 추출하는 단계; 및
    (a3) 상기 영상 특성을 SVM에 입력하여 SVM 영상학습모델을 생성하고, 상기 음성특성을 SVM에 입력하여 SVM 음성학습모델을 생성하는 단계;를 포함하는 것을 특징으로 하는 이미지 품질 판별을 통한 유해 동영상 분류 방법.
  3. 제1항에 있어서, 상기 (b)단계는
    상기 입력 동영상 전체적으로 사용된 색상의 숫자가 소정의 임계치 이하인 경우 저화질로 판단하는 것을 특징으로 하는 이미지 품질 판별을 통한 유해 동영상 분류 방법.
  4. 제1항에 있어서, 상기 (b)단계는
    상기 동영상이 재생중인 동영상인 경우에는 소정의 시간 간격당 한 개씩의 정지영상을 추출하는 단계;를 더 포함하는 것을 특징으로 하는 이미지 품질 판별을 통한 유해 동영상 분류 방법.
  5. 제1항에 있어서, 상기 (c)단계는
    (c1) 고화질로 판단된 동영상의 적어도 하나 이상의 정지 영상에서 살색 영역을 추출하는 단계;
    (c2) 상기 살색 영역을 상기 SVM 학습 모델에 대입하여 상기 각 정지 영상의 유해 여부를 판정하는 단계; 및
    (c3) 상기 (c2)단계의 판정결과를 기초로 상기 고화질로 판정된 동영상의 유해 여부를 판정하는 단계;를 포함하는 것을 특징으로 하는 이미지 품질 판별을 통한 유해 동영상 분류 방법.
  6. 제5항에 있어서, 상기 (c3)단계는
    전체 정지 영상에서 유해로 판정된 정지 영상의 비율이 소정의 기준치를 초과하는 지의 여부로 동영상의 유해 여부를 판정하는 것을 특징으로 하는 이미지 품질 판별을 통한 유해 동영상 분류 방법.
  7. 제5항에 있어서, 상기 (c3)단계는
    유해로 판정된 정지영상의 판별값들의 평균이 소정의 기준치를 초과하는 지의 여부로 동영상의 유해 여부를 판정하는 단계;를 더 포함하는 것을 특징으로 하는 이미지 품질 판별을 통한 유해 동영상 분류 방법.
  8. 저화질 동영상의 소정의 영상특성을 기초로 SVM 영상학습모델을 생성하고 소정의 음성특성을 기초로 SVM 음성학습모델을 생성하는 SVM학습모델부;
    유해 판단이 필요한 입력 동영상에서 적어도 하나 이상의 정지영상을 추출한 후 상기 영상특성을 추출한 후 상기 SVM 영상학습모델에 입력하여 화질의 고저를 결정하는 제1판단부; 및
    상기 입력 동영상과 제1판단부의 결정 결과를 입력받아 상기 입력 동영상의 유해 여부를 결정하는 제2판단부;를 포함하는 것을 특징으로 하는 이미지 품질 판별을 통한 유해 동영상 분류 장치.
  9. 제8항에 있어서, 상기 제1판단부는
    상기 입력 동영상이 재생중인 동영상인 경우에는 소정의 시간 간격동안 한 개의 정지영상을 추출하여 상기 화질의 고저를 결정하는 것을 특징으로 하는 이미지 품질 판별을 통한 유해 동영상 분류 장치.
  10. 제8항에 있어서, 상기 제2판단부는
    고화질로 판단된 상기 입력 동영상에 대하여 입력받아 전체 정지 영상에서 차지하는 유해 정지 영상의 비율 혹은 상기 SVM 영상학습모델의 수행결과 생성되는 정지 영상 판정 결과값의 평균이 소정의 기준치를 초과하는 지의 여부로 유해 여부를 결정하는 고화질판단부; 및
    저화질로 판단된 입력 동영상의 음성 특성을 추출한 후 상기 SVM 음성학습모델에 대입하여 그 결과를 소정의 임계치와 비교하여 유해여부를 결정하는 저화질판단부;를 포함하는 것을 특징으로 하는 이미지 품질 판별을 통한 유해 동영상 분류 장치.
KR1020050110822A 2005-11-18 2005-11-18 이미지 품질 판별 기능을 이용한 유해 동영상 분류 방법 및그 장치 KR100734845B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020050110822A KR100734845B1 (ko) 2005-11-18 2005-11-18 이미지 품질 판별 기능을 이용한 유해 동영상 분류 방법 및그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050110822A KR100734845B1 (ko) 2005-11-18 2005-11-18 이미지 품질 판별 기능을 이용한 유해 동영상 분류 방법 및그 장치

Publications (2)

Publication Number Publication Date
KR20070052971A KR20070052971A (ko) 2007-05-23
KR100734845B1 true KR100734845B1 (ko) 2007-07-03

Family

ID=38275467

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050110822A KR100734845B1 (ko) 2005-11-18 2005-11-18 이미지 품질 판별 기능을 이용한 유해 동영상 분류 방법 및그 장치

Country Status (1)

Country Link
KR (1) KR100734845B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105872555A (zh) * 2016-03-25 2016-08-17 中国人民武装警察部队工程大学 一种针对h.264视频运动矢量信息嵌入的隐写分析算法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101281940B1 (ko) * 2011-12-29 2013-07-03 고려대학교 산학협력단 데이터 필터링 방법 및 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990074573A (ko) * 1998-03-12 1999-10-05 윤종용 영상신호 기록/재생장치의 시청등급 관리방법
KR20040046537A (ko) * 2002-11-27 2004-06-05 엘지전자 주식회사 Vod 서비스에서의 유해 정보 차단 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990074573A (ko) * 1998-03-12 1999-10-05 윤종용 영상신호 기록/재생장치의 시청등급 관리방법
KR20040046537A (ko) * 2002-11-27 2004-06-05 엘지전자 주식회사 Vod 서비스에서의 유해 정보 차단 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105872555A (zh) * 2016-03-25 2016-08-17 中国人民武装警察部队工程大学 一种针对h.264视频运动矢量信息嵌入的隐写分析算法
CN105872555B (zh) * 2016-03-25 2019-01-15 中国人民武装警察部队工程大学 一种针对h.264视频运动矢量信息嵌入的隐写分析算法

Also Published As

Publication number Publication date
KR20070052971A (ko) 2007-05-23

Similar Documents

Publication Publication Date Title
US10304458B1 (en) Systems and methods for transcribing videos using speaker identification
Sidiropoulos et al. Temporal video segmentation to scenes using high-level audiovisual features
BR102016007265A2 (pt) Multimodal and real-time method for sensitive content filtering
KR100670815B1 (ko) 순차적 데이터 처리 기반의 유해 멀티미디어 서비스 차단장치 및 그 방법
CN109922334B (zh) 一种视频质量的识别方法及系统
JP4332700B2 (ja) マルチメディアの手掛かりを利用したテレビ番組をセグメント化及びインデクス化する方法及び装置
JP2005513663A (ja) コマーシャル及び他のビデオ内容の検出用のファミリーヒストグラムに基づく技術
WO2005076594A1 (en) Automatic video event detection and indexing
JP2004505348A (ja) タイムスライスによりテキストを自動分類するシステム及び方法
KR20160107734A (ko) 동영상의 시간정보를 이용한 유해 동영상 분류방법 및 장치
Jiang et al. Video segmentation with the assistance of audio content analysis
Zhang et al. Detecting sound events in basketball video archive
CN113255518B (zh) 一种视频异常事件检测方法和芯片
CN114220057A (zh) 视频片尾识别方法、装置、电子设备及可读存储介质
CN112653918A (zh) 预览视频生成方法、装置、电子设备及存储介质
KR100779074B1 (ko) 시간별 특징값을 이용한 유해 동영상 판별 방법 및 그 장치
KR100734845B1 (ko) 이미지 품질 판별 기능을 이용한 유해 동영상 분류 방법 및그 장치
Li et al. A confidence based recognition system for TV commercial extraction
KR101003504B1 (ko) 유해 멀티미디어 판별시스템 및 그 판별방법
Kyperountas et al. Enhanced eigen-audioframes for audiovisual scene change detection
KR100656373B1 (ko) 시간구간별 우선순위와 판별정책을 적용하는 유해 동영상판별 방법 및 그 장치
Choroś Fast method of video genre categorization for temporally aggregated broadcast videos
CN114189754A (zh) 一种视频情节分段方法及系统
CN113515670A (zh) 影视资源状态识别方法、设备及存储介质
Changkaew et al. Automatic movie rating using visual and linguistic information

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121221

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee