KR100799557B1

KR100799557B1 - 동영상의 비주얼 특징을 이용한 유해 동영상 판별함수 생성및 판별 방법 그리고 그 장치

Info

Publication number: KR100799557B1
Application number: KR1020050101737A
Authority: KR
Inventors: 이승민; 남택용; 장종수; 이호균
Original assignee: 한국전자통신연구원
Priority date: 2005-10-27
Filing date: 2005-10-27
Publication date: 2008-01-31
Also published as: US7773809B2; US20070098267A1; KR20070045445A

Abstract

본 발명은 동영상의 비주얼 특징을 이용하여 유해 동영상을 판별하기 위한 판별함수를 생성하고 그 함수를 이용하여 유해 여부를 판단하는 방법 및 그 장치에 관한 것으로서, 유해 혹은 무해로 분류된 동영상들의 집합에서 각 동영상별로 소정 개수의 프레임들을 추출하여 제1프레임집합을 형성하고, 상기 프레임들을 선별하여 제2프레임집합을 형성하는 단계; 상기 제2프레임집합의 프레임의 비주얼 특징을 추출하여 프레임기반의 판별함수를 생성한 후, 상기 제1프레임집합의 프레임별로 유해 판별을 하여 제1판별값을 생성하는 단계; 상기 제1프레임집합의 프레임들을 하나의 그룹으로 하여 그 그룹의 비주얼 특징을 추출하여 그룹 프레임 기반의 판별함수를 생성한 후, 상기 그룹의 유해 판별을 하여 제2판별값을 생성하는 단계; 및 상기 제1판별값과 제2판별값을 상기 동영상의 대표 특징값으로 하여 종합 판별함수를 생성하는 단계;를 포함하는 것을 특징으로 하며, 동영상에 대한 정확도 높은 판별을 가능하게 하여 컴퓨터 시스템에 저장되어 있는 유해 동영상을 자동으로 판별할 수 있다.

Description

동영상의 비주얼 특징을 이용한 유해 동영상 판별함수 생성 및 판별 방법 그리고 그 장치{Method for discriminating a obscene video using visual features and apparatus thereof}

도 1a는 본 발명에 의한 비주얼 특징을 이용한 유해 동영상 판별 함수 생성 방법을 보여주는 흐름도이다.

도 1b는 본 발명에 의한 비주얼 특징을 이용한 유해 동영상 판별 방법중 입력 동영상에 대하여 판별하는 방법을 보여주는 흐름도이다.

도 1c는 본 발명에 의한 비주얼 특징을 이용한 유해 동영상 판별 방법을 판별함수 생성과정과 함께 전체적으로 도시한 흐름도이다.

도 2는 도 1의 프레임기반 판별값(X)을 생성하는 과정을 구체적으로 보여주는 도면이다.

도 3은 도 1의 그룹프레임기반 판별값(Y)의 생성과정을 구체적으로 보여주는 도면이다.

도 4는 도 1의 종합 판별함수를 생성하는 방법을 구체적으로 보여주는 도면이다.

도 5는 도 1의 유해 동영상 판별과정을 구체적으로 보여주는 도면이다.

도 6은 그룹프레임 특징값을 구하기 위해 사용된 한 프레임의 특징값 분포의 하나의 예를 보여주는 도면이다.

도 7a는 본 발명에 의한 비주얼 특징을 이용한 유해 동영상 판별 함수 생성 장치의 블록도이다.

도 7b는 도 7a의 판별 함수 생성장치의 세부 구성을 보여주는 블록도이다.

도 8은 본 발명에 의한 비주얼 특징을 이용한 유해 동영상 판별 장치의 블록도이다.

본 발명은 동영상의 비주얼 특징을 이용하여 유해 동영상을 판별하기 위한 판별함수를 생성하고 그 함수를 이용하여 유해 여부를 판단하는 방법 및 그 장치에 관한 것으로서, 보다 자세하게는 동영상의 프레임에 대하여 기존의 이미지 분류기술을 적용한 판단 결과를 분석하여 프레임기반의 판별값(특징값)을 생성하고, 그룹 프레임기반의 판별값(특징값)을 생성하여 이 두 가지 판별값으로부터 최적의 판별함수를 찾아서 궁극적으로는 동영상 전체에 대한 판단 함수를 개발하여 유해 동영상을 판별하는 방법에 관한 것이다.

종래의 유해 동영상 판별 기술은 동영상에 대한 유해 판단을 위하여 이미지 분류 기술을 활용하는 수준으로서, 동영상으로부터 정지영상을 추출하여 이로부터 유해 이미지 여부에 따라 전체 동영상의 유무해를 판단하는 정도였다. 그러나, 이러한 방법은 단순히 이미지를 분류하는 방법과 다르지 않기 때문에 이미지 분류의 정확도에 따라 동영상의 유무해를 잘못 판단할 가능성이 높은 문제점이 있다.

본 발명이 이루고자 하는 기술적 과제는 상기의 기술적 과제를 해결하기 위하여 안출된 것으로서, 동영상의 비주얼 특징을 최대로 활용하기 위하여, 프레임별 비주얼 특징과 상기 프레임을 선별하여 형성하는 그룹프레임의 비주얼 특징을 각각 추출하여 각 판별값을 생성하고, 이로부터 최적의 판별함수를 찾아내는 방법 및 그 장치를 제공하는데 있다.

본 발명이 이루고자 하는 다른 기술적 과제는 유해 여부 판단이 필요한 동영상의 프레임을 추출하여 프레임별 비주얼 특징과 상기 프레임을 선별하여 형성하는 그룹 프레임의 비주얼 특징을 각각 추출하여 상기 생성된 판별함수와 비교하여 그 유해 유해 여부를 판단하는 방법 및 그 장치를 제공하는데 있다.

상기의 기술적 과제를 이루기 위하여 본 발명에 의한 동영상의 비주얼 특징을 이용한 유해 동영상 판별함수 생성 방법은 유해 혹은 무해로 분류된 동영상들의 집합에서 각 동영상별로 소정 개수의 프레임들을 추출하여 제1프레임집합을 형성하고, 상기 프레임들을 선별하여 제2프레임집합을 형성하는 단계; 상기 제2프레임집합의 프레임의 비주얼 특징을 추출하여 프레임기반의 판별함수를 생성한 후, 상기 제1프레임집합의 프레임별로 유해 판별을 하여 제1판별값을 생성하는 단계; 상기 제1프레임집합의 프레임들을 하나의 그룹으로 하여 그 그룹의 비주얼 특징을 추출하여 그룹 프레임 기반의 판별함수를 생성한 후, 상기 그룹의 유해 판별을 하여 제 2판별값을 생성하는 단계; 및 상기 제1판별값과 제2판별값을 상기 동영상의 대표 특징값으로 하여 종합 판별함수를 생성하는 단계;를 포함하는 것을 특징으로 한다.

상기의 기술적 과제를 이루기 위하여 본 발명에 의한 동영상의 비주얼 특징을 이용한 유해 동영상 판별함수 생성 장치는 동영상을 종류별로 분류한 후 소정 개수의 프레임들로 형성되는 제1프레임집합. 그리고 상기 프레임들에서 선별된 제2프레임집합을 출력하는 프레임집합형성부; 상기 제2프레임집합의 프레임의 비주얼 특징을 추출한 후 프레임기반 판별함수를 생성하여 상기 제1프레임집합의 프레임별 유해 판별을 수행하여 제1판별값을 출력하는 프레임기반 판별값생성부; 상기 제1프레임집합의 프레임들을 그룹으로 형성한 후 그룹의 비주얼 특징을 추출한후 그룹프레임기반 판별함수를 생성하여 상기 그룹의 유해 판별을 수행하여 제2판별값을 출력하는 그룹프레임기반 판별값생성부; 및 상기 제1 내지 제2판별값을 입력받아 통계적 판별분석, 기계학습, 규칙생성중의 하나를 적용하여 종합판별함수를 출력하는 제3판별함수생성부;를 포함하는 것을 특징으로 한다.

상기의 다른 기술적 과제를 이루기 위하여 본 발명에 의한 동영상의 비주얼 특징을 이용한 유해 동영상 판별 방법은 유해 혹은 무해로 분류한 동영상들로부터 프레임을 추출 후 선별하여 프레임별 판별함수를 기초로 하는 제1판별값, 프레임을 묶은 그룹프레임별 판별함수를 기초로 하는 제2판별값, 그리고 상기 제1내지 제2판별값을 조합하여 종합 판별함수를 생성하는 단계; 유해 여부 판단이 필요한 입력 동영상의 프레임을 추출하는 단계; 상기 입력 동영상의 프레임별 특징을 상기 프레임별 판별함수와 비교하여 프레임별 유해 여부를 수행한 후 제3판별값을 생성하고, 상기 추출된 프레임들중에서 선별하여 형성한 그룹 프레임의 비주얼 특징을 상기 그룹프레임별 판별함수와 비교하여 그룹 프레임별 유해 여부를 수행한 후 제4판별값을 생성하는 단계; 및 상기 제3 내지 제4판별값을 조합한 후 상기 종합 판별함수와 비교하여 입력 동영상의 유해 여부를 판단하는 단계;를 포함하는 것을 특징으로 한다.

상기의 다른 기술적 과제를 이루기 위하여 본 발명에 의한 동영상의 비주얼 특징을 이용한 유해 동영상 판별 장치는 동영상 프레임의 비주얼 특징을 기초로 생성되는 프레임기반 판별함수, 그룹프레임기반 판별함수 및 종합판별함수를 입력받아 입력동영상의 비주얼 특징을 이용하여 유해 판단을 수행하는 장치에 있어서, 상기 입력동영상에서 소정 개수의 프레임을 추출하는 프레임 추출부; 상기 추출된 프레임에서 프레임기반의 제1비주얼특징과 그룹프레임기반의 제2비주얼특징을 추출하는 입력특징추출부; 상기 제1비주얼 특징을 상기 프레임기반 판별함수에 대입하여 유해여부를 판단한 후 제3판별값을 출력하는 제3판별값생성부; 상기 제2비주얼 특징을 상기 그룹프레임기반 판별함수에 대입하여 유해여부를 판단한 후 제4판별값을 출력하는 제4판별값생성부; 및 상기 제3 내지 제4판별값을 조합한 후 상기 종합 판별함수에 대입하여 상기 동영상의 유해 여부를 결정하는 유해판단부;를 포함하는 것을 특징으로 한다.

이하, 첨부한 도면을 참조하면서 본 발명의 바람직한 일 실시예에 대하여 상세히 설명하도록 한다. 먼저 본 발명을 개괄적으로 설명하도록 한다. 도 1은 동영상의 비주얼 특징으로서 색상(피부색, HSV 히스토그램 등), 형태, 질감등을 이용하 여 유해 동영상을 판별하는 전체 과정을 나타낸 것이고, 도 2는 프레임기반의 비주얼 특징을 추출하여 판별함수를 생성하고, 이를 이용하여 프레임별 판별결과로부터 판별값 (X)을 생성하는 과정을 도시한 것이다. 데이터 집합(즉 수집된 동영상의 종류별 총숫자)이 N개 이면, N개의 X가 생성된다. 판별값 X는 프레임기반의 판별결과로부터 유해 프레임 비율, 프레임별 판별값의 평균값, 유해판별 프레임 상위 n개 결과값의 합 등의 통계량이 될 수 있다.

도 3은 그룹프레임기반의 비주얼 특징을 추출하여 판별함수를 생성하고, 이를 이용하여 그룹프레임별 판별값 Y를 생성하는 과정을 도시한 것이다. 데이터 집합이 N개 이면, N개의 Y(그룹프레임 특징으로 생성한 판별함수를 이용한 판별결과값)가 생성된다. 그룹프레임 특징은 개별 프레임의 특징인 색상 히스토그램, 주요 색상(dominant color) 등의 평균(average), 메디안(median) 등의 통계량이 될 수 있다.

도 4는 도 2와 도 3에서 각각 생성한 판별값(X와 Y)을 분석하여, 어떤 방법으로 최종 판별함수를 생성할 것인지를 결정한 다음, 실험을 통하여 최종 판별함수를 구하는 것을 보여준다. 판별함수는 통계적 판별분석(discriminant analysis), 기계학습(machine learning), 규칙기반 판별(rule-based decision) 등의 방법이 될 수 있다.

도 5는 도 2 내지 도 4에서 보여주는 절차로 생성한 판별함수를 이용하여 유해 판단이 요구되는 입력 동영상에 대하여 유해 판별을 수행하는 과정을 나타낸 것이다.

본 발명에 의한 비주얼 특징을 이용한 유해 동영상 판별 함수 생성 방법과 장치를, 그리고 유해 동영상 판별 방법 및 그 장치를 각각 설명하고 구체적인 실시예를 서술하도록 한다.

먼저 비주얼 특징을 이용한 유해 동영상 동영상 판별함수 생성 방법 및 장치를 도 1a 와 도 7a를 참조하면서 설명한다. 먼저 프레임집합형성부(710)는 유/무해 판별을 위한 자료를 형성하기 위하여 동영상의 종류별로 프레임을 추출한 후 제1프레임집합을 형성한다. 그리고 그 프레임들중에서 선별하여 제2프레임집합을 형성한다(S101). 프레임기반 판별값생성부(720)는 제2프레임집합의 프레임의 비주얼 특징을 추출하여 프레임기반 판별함수를 생성한다. 그리고 이 프레임기반 판별함수를 이용하여 제1프레임집합을 구성하는 프레임의 유해여부를 판단하여 프레임기반의 판별값(제1판별값)을 생성한다(S103). 그룹프레임기반 판별값생성부(730)는 상기 제1프레임집합의 프레임들을 묶어 그 그룹의 비주얼 특징을 추출한 후 그룹프레임기반 판별함수를 생성한다. 그리고 이 그룹프레임기반 판별함수를 이용하여 그룹 프레임의 유해여부를 판별하여 그룹프레임기반의 판별값(제2판별값)을 생성한다(S102). 종합판별함수생성부(740)는 위의 제1내지 제2판별값을 이용하여 종합판별함수를 생성한다(S106).

도 1b와 도8을 참조하면서, 동영상의 유해 여부를 판단하는 방법 및 장치를 살펴보도록 한다. 각 판별함수는 판별함수 생성장치로부터 입력받는다(S111). 프레임추출부(810)는 유해 여부 판단이 필요한 입력동영상에서 프레임을 추출한다. 입력프레임특징부는 입력프레임특징추출부(820)와 입력그룹프레임특징추출부(830)로 이루어지는데, 입력프레임특징추출부(820)는 입력동영상의 프레임에서 비주얼 특징을 추출하고, 입력그룹프레임특징추출부(830)는 프레임을 일정한 개수로 묶은 그룹프레임의 비주얼 특징을 추출하여 출력한다(S112). 제3판별값생성부(840)는 입력프레임특징추출부(820)의 출력인 입력동영상의 프레임 특징을 프레임 기반 판별함수에 대입하여 프레임기반 판별값(제3판별값)을 출력한다(S114). 마지막으로 유해판단부(860)는 상기 제3 내지 제4판별값을 종합판별함수에 대입하여 입력동영상의 유해 여부를 판단하게 된다(S115).

이제, 도 1c와 도 7b를 참조하면서 보다 구체적으로 일 실시예를 설명하기로 한다. 제1프레임추출부(711)는 판별함수를 생성하기 위하여 아래의 표 1a 내지 표 1b 처럼 일정한 숫자만큼 동영상 자료(데이터 집합)를 수집한 후에 일정한 숫자만큼의 프레임(F, 여기서는 50개)을 등간격으로 추출한다(S122).

유해 동영상	정지영상(키프레임)
1000건	F_1,1................................F_1,50 . . . F_1000,1 ..............................F_1000,50

무해 동영상	정지영상(키프레임)
영화	F_1,1...............................F_1,50 F_200,1 .............................F_200,50
드라마	F_201,1.............................F_201,50 F_400,1 .............................F_400,50
다큐멘타리	F_401,1.............................F_401,50 F_600,1.. ...........................F_600,50
스포츠	F_601,1.............................F_601,50 F_800,1.. ...........................F_800,50
뮤직	F_801,1.............................F_801,50 F_1000,1.. ..........................F_1000,50

제2프레임추출부(712)는 판별값(X)을 생성하기 위하여, 상기 표 1a 내지 표 1b에서 추출한 정지영상으로부터 표 2a 내지 표2b와 같이 유해 동영상과 무해 동영상별로 각각 10,000장(유해 동영상의 경우 건당 10장이고, 무해 동영상의 경우도 건당 10장)의 프레임을 선별한다(이상 S121). 이렇게 선별하는 이유는 유해 동영상의 경우에도 무해한 정지영상을 포함하고 있기 때문이며, 수작업으로 유해 동영상에서 유해 정지영상을 임의로 선별한다. 무해 동영상의 경우에도 동일한 개수만큼 수작업으로 선별한다.

유해 동영상	정지영상(키 프레임)
1000건	10,000장 유해 정지 영상 (유해 영상만 선별)

무해 동영상	정지영상(키 프레임)
영화	2,000장 무해 정지영상 선별
드라마	2,000장 무해 정지영상 선별
다큐멘터리	2,000장 무해 정지영상 선별
스포츠	2,000장 무해 정지영상 선별
뮤직	2,000장 무해 정지영상 선별

특징추출부(721)는 표 2a 내지 표 2b 처럼 선별된 프레임(S123)에서 픽셀마다 피부색 확률값을 구한다. 이때, 프레임 크기에 따라 픽셀의 수가 다르기 때문에 가로,세로 10×10 크기 총 100개의 픽셀로 정규화한다. 500×500 크기의 프레임이라면, 50×50 즉 2500 픽셀의 피부색 확률값의 평균을 픽셀 하나의 값으로 정규화한다. 이렇게 프레임당 100개의 피부색 확률값을 특징값으로 정의하고, 선별한 무해, 유해 프레임으로부터 특징값을 계산(S124)하여 출력하면, 제1판별함수생성부(722)는 기계학습방법의 하나인 SVM(Support Vector Machine)을 이용하여 최적의 판별함수(도 2의 fx)를 구한다(S126). 프레임판단부(724)는 이 판별함수를 이용하여 표 1a 내지 표 1b에서 추출한 프레임 각각에 대한 유무해 판별을 수행한다(S126). 제1판별값생성부(725)는 유무해 판별 결과로서 판별함수와의 거리를 구한다. 즉, 도 2의 동영상별 I가 50개가 된다. 그리고 판별값

로 정의하면, 유해/무해 동영상 각각 1000개의 X값이 구해진다. X는 동영상별로 추출한 프레임의 유무해 판별함수와의 거리의 평균값이다(S127).

다음으로, 판별값(Y)의 생성을 살펴본다. 그룹프레임특징추출부(731)는 표 1a 내지 표 1b에서 추출한 정지영상(제1프레임집합) 각각에 대하여 HSV(Hue Saturation Value) color space로 표현한다. 이때, 하나의 정지영상에서 픽셀마다 구한 HSV값은 H의 경우 0~360°를 16등분하고, S의 경우 0~1을 4등분하고, V의 경우 0~1을 4등분하여 모두 256(16×4×4)경우로 할당할 수 있다. 정지영상의 크기에 따라 픽셀수가 다르기 때문에 이를 정규화(픽셀개수/전체픽셀)하여 도 6과 같이 256경우에 대하여 분포도를 구할 수 있다. 즉 정지영상별 256개의 특징값을 추출한다. 그리고 256개의 색상값을 특징으로 추출한 후, 동영상별 50개의 프레임에 대한 HSV값의 평균을 그룹프레임의 특징으로 사용하기로 한다. 즉 유해/무해 동영상 각각 1000개의 그룹프레임이 생성되며, 그룹프레임당 256개의 특징값을 갖는다(S128). 제2판별함수생성부(732)는 이 특징값을 가지고 기계학습방법의 하나인 SVM(Support Vector Machine)을 이용하여 최적의 판별함수(fy라 하자)를 구한다(S129). 제2판별값생성부(733)는 이 판별함수를 이용하여 도 3과 같이 그룹프레임에 대하여 유무해 판별을 수행한다. 결과는 판별함수와의 거리이다. 즉 도 3의 유무해 동영상 각각 1000개의 Y값이 구해진다(S130).

종합판별함수생성부(740)는 지금까지 구한 유무해 동영상별 1000개의 X값과 Y값을 동영상의 대표 특징으로 사용하여 Z=αX+βY (도 4를 참조하면서 뒤에서 상세히 설명함)에서 판별 오류를 최소화하는 α와 β값을 구하는 판별분석을 수행함으로써 판별함수를 생성한다(S131).

이렇게 생성한 판별함수를 이용하여, 실제 동영상을 입력했을 때, 유해/무해를 판별하는 과정을 살펴보기로 한다. 프레임추출부(810)는 동영상이 입력되면, 동영상에 대하여 50개의 프레임을 등간격으로 추출한다(S140). 그리고 입력프레임특징추출부(820)는 추출된 프레임에 대하여 판별값 X를 구하기 위하여, 프레임별 특징을 추출한다(S141). 제3판별값생성부(840)는 판별함수 생성과정에서 생성한 판별함수 fx를 입력받아 이 판별함수에 프레임 특징을 대입하여 프레임별 판별값을 구하고 판별값들의 평균을 X 값으로 계산한다(S142 내지 S143). 입력그룹프레임특징추출부(830)는 마찬가지로 50개의 프레임에 대하여 그룹프레임특징을 추출한다(S144), 제4판별값생성부(850)는 추출된 그룹프레임특징을 판별함수 fy에 대입하여 판별값 Y를 계산한다(S145). 유해판단부(860)는 이렇게 구한 X, Y 값을 판별함수 Z에 대입하여 입력동영상의 유무해를 판별하게 된다(S146).

이제 도 2를 참조하면서 판별값(혹은 판별변수, X)를 구하는 과정을 살펴본다. 유해 동영상(음란물), 무해 동영상(드라마 등)으로 이루어지는 데이터 집합(211)에서 프레임을 추출(S201)한 후 일정 개수의 유해 무해 정지영상을 선택하면(S202) 212처럼 선별된 프레임의 집합이 된다. 이 프레임들의 비주얼 특징을 추출하여 판별함수를 최적화(S203)하게 되는데, 그 과정이 그래프 213에 나타나 있다. 그래프 213을 보면 하나의 점이 특징값 벡터(앞의 설명에서 100개의 특징값 벡터)이고, 직선이 판별함수 fx이며, 벡터값과 fx간의 거리(r)를 구한다. 이것이 판결결과 I값이다(214). 그리고 동영상별 I값의 평균이 X값이 된다(215). 여기에서는 SVM(Support Vector Machine)을 이용하여 기계학습을 수행하는 과정을 도시한 것이다. SVM은 통계적 학습 이론을 기반으로 1995년 Vapnik 에 의해서 개발되었고, 훈련된 모델(판별함수)을 기반으로 주어진 데이터를 분류하는 문제에 적합하다. 이 학습기법은 기계학습 분야에 있어서 전형적으로 2개 혹은 그 이상의 그룹으로 분류(classification)되는 문제에 대하여 먼저 훈련 데이터를 학습하여 분류 모델을 생성하고, 이를 근거로 시험데이터를 분류하는 기법이다. 프레임 기반의 비주얼 특징을 개수가 많은 경우 SVM을 사용하면 쉽게 최적화된 판별모델(판별함수)를 생성할 수 있다.

이렇게 생성한 판별함수를 이용하여 표 1a 내지 표1b와 같이 추출한 프레임들에 대하여 유해/무해 판별을 수행하고(S124), 통계적 흐름 해석을 통하여 판별값 (X)를 생성한다.

도 3을 참조하면서 그룹 프레임 기반 판별값(Y)의 생성 과정을 설명하도록 한다. 그룹 프레임 기반 판별함수 생성 과정은 도 2에서와 마찬가지로 표 1a 내지 표 1b처럼 프레임을 추출하면(S301) 프레임들의 모임(311)이 되고, 이 그룹 프레임에서 특징값을 추출한 후(S302) 그룹프레임특징을 계산(S303, S128에 해당함)한 후 SVM을 이용하여 최적함수를 생성한다(S304). 학습 동영상별(유해/무해 동영상)로 추출한 많은 수의 특징값을 이용하여, SVM 학습과정을 수행하게 된다. 이를 통하여 생성된 학습모델(판별함수)을 이용하여, 결과값 Y를 생성하게 된다(S305).판별함수최적화과정을 그래프로 도시한 것이 313인데, 그래프를 살펴보면 하나의 점이 특징값 벡터(위의 설명에서 256개의 특징값 벡터)이고, 직선이 판별함수 fy이며, 벡터값과 fy간의 거리(r)를 구하게 되며, 이 것이 판별결과값 Y(314)가 된다.

도 4를 참조하면서, 도 2에서 구한 X 와 도 3에서 구한 Y를 이용하여 최종 판별함수를 구하는 과정을 살펴본다. 먼저 어떠한 방법으로 최종 판별함수를 구할 것인지를 결정(S401)한 다음, 즉 판별분석, 기계학습, 규칙생성 방법 중 어느 것에 의할 것인지를 결정한 다음 실험을 통하여(S402) 최종 판별함수를 구하게 된다(S403). 이러한 결정시에 X, Y값간의 상관관계분석을 포함하여 실험결과 정확도가 높은 방법을 선택할 수 있다.

이를 위해, 실험을 위하여 얻은 데이테인 X, Y값(412)을 분석하여 어떤 방법을 적용할지를 결정해야 한다(여기에는 판별분석, 기계학습, 규칙생성 방법 중 하나, 411). 본 발명과 같이 특징값 X, Y로 이루어지는 이차원을 분석할 경우에는 통계 패키지 SPSS, 혹은 SAS 등에서 지원하는 판별분석 기법을 쉽게 적용할 수 있다. 혹은 X, Y를 구하기 위하여 사용한 SVM 방법을, 실험 데이터를 분석하는데 사용할 수도 있다. 만일, 실험 결과 X, Y값의 상관관계가 매우 높거나, X, Y 가운데 어느 한쪽은 결과만으로 최종 판별이 가능하다고 판단된다면, 규칙 기반의 판별을 할 수도 있다. 즉 Y 값 만으로 최종 결과를 내고, 결과값을 한 번 더 검증하기 위하여 X 값을 2차 판별 목적으로 사용할 수도 있다. 그리고 그 결과는 판별함수, 학습 모델 혹은 규칙생성 중의 하나가 된다.

이제 마지막으로 도 5를 참조하면서, 입력 동영상의 유해 여부를 판단하는 방법을 살펴보도록 한다. 유해 여부를 판단하기 위한 동영상(501)이 입력되면 그 형태는 502와 같은 연속적인 프레임의 되는 것을 알 수 있다. 사전에 설정된 정책에 의하여 키 프레임을 추출한 후(503) 프레임 별로 유해 여부를 판단한 후(504), 판별결과의 평균값(혹은 유해 프레임 비율, 상위 판별결과 n개의 합 등)을 계산한다(505). 이 결과는 위에서 설명한 것과 같은 X값이 된다.

다음으로 추출된 키 프레임에서 특징값을 추출한 후(506), 그룹 프레임특징을 생성하여 그룹프레임 기반 판별함수와 비교하여 판별값 Y를 생성한다.

이렇게 구한 X, Y를 종합판별함수와 비교하여 최종적으로 유해여부를 판별하게 된다(508).

본 발명에 의한 동영상의 비주얼 특징을 이용한 유해 동영상 판별함수 생성 방법 혹은 동영상의 비주얼 특징을 이용한 유해 동영상 판별 방법은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 하드 디스크, 플로피 디스크, 플래쉬 메모리, 광 데이타 저장장치등이 있으며, 또한 캐리어 웨이브(예를들면 인터넷을 통한 전송)의 형태로 구현되는 것도 포함된다. 또한 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다. 또한 본 발명에 의한 폰트 롬 데이터구조도 컴퓨터로 읽을 수 있는 ROM, RAM, CD-ROM, 자기 테이프, 하드 디스크, 플로피 디스크, 플래쉬 메모리, 광 데이타 저장장치등과 같은 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다.

이상과 같이 본 발명은 양호한 실시예에 근거하여 설명하였지만, 이러한 실시예는 이 발명을 제한하려는 것이 아니라 예시하려는 것으로, 본 발명이 속하는 기술분야의 숙련자라면 이 발명의 기술사상을 벗어남이 없이 위 실시예에 대한 다양한 변화나 변경 또는 조절이 가능함이 자명할 것이다. 그러므로, 이 발명의 보호범위는 첨부된 청구범위에 의해서만 한정될 것이며, 위와 같은 변화예나 변경예 또는 조절예를 모두 포함하는 것으로 해석되어야 할 것이다.

이상에서 설명한 바와 같이, 본 발명에 의한 비주얼 특성을 이용한 유해 동영상 판별함수 생성 방법 혹은 비주얼 특성을 이용한 유해 동영상 판별 방법은 동영상으로부터 프레임기반과 그룹프레임기반의 비주얼 특징을 추출하고 이로부터 유 무해 판별을 수행함으로써, 동영상에 대한 정확도 높은 판별을 가능하게 하여 컴퓨터 시스템에 저장되어 있는 유해 동영상을 자동으로 판별할 수 있다.

Claims

(a) 유해 혹은 무해로 분류된 동영상들의 집합에서 각 동영상별로 소정 개수의 프레임들을 추출하여 제1프레임집합을 형성하고, 상기 프레임들을 선별하여 제2프레임집합을 형성하는 단계;

(b) 상기 제2프레임집합을 구성하는 프레임의 비주얼 특징을 추출하여 프레임기반 판별함수를 생성한 후, 상기 제1프레임집합의 프레임별로 유해 판별을 하여 제1판별값을 생성하는 단계;

(c) 상기 제1프레임집합의 프레임들을 하나의 그룹으로 하여 그 그룹의 비주얼 특징을 추출하여 그룹 프레임기반 판별함수를 생성한 후, 상기 그룹의 유해 판별을 하여 제2판별값을 생성하는 단계; 및

(d) 상기 제1판별값과 제2판별값을 상기 동영상의 대표 특징값으로 하여 종합 판별함수를 생성하는 단계;를 포함하는 것을 특징으로 하는 동영상의 비주얼 특징을 이용한 유해 동영상 판별함수 생성 방법.
제1항에 있어서, 상기 프레임기반 판별함수, 그룹프레임기반 판별함수는 기계학습방법을, 그리고 종합 판별함수는 통계적 판별 분석 방법, 기계학습방법, 혹은 규칙생성방법 중의 하나가 적용되어 구해지는 것을 특징으로 하는 동영상의 비주얼 특징을 이용한 유해 동영상 판별함수 생성 방법.
제1항에 있어서, 상기 (b)단계는

(b1) 상기 제2프레임집합의 프레임으로부터 색상을 포함하는 비주얼 특징을 추출하여 상기 프레임기반 판별함수를 생성하는 단계;

(b2) 상기 생성된 프레임기반 판별함수를 적용하여 프레임별로 유해 여부를 판단하는 단계; 및

(b3) 상기 유해 판별 결과로부터 얻어지는 유해 프레임의 비율, 프레임별 판별값의 평균값, 정수개의 유해 판별 프레임의 결과값의 합을 포함하는 값 중의 하나로 상기 제1판별값을 정의하는 단계;를 포함하는 것을 특징으로 하는 동영상의 비주얼 특징을 이용한 유해 동영상 판별함수 생성 방법.
제1항에 있어서, 상기 (c)단계는

(c1) 상기 제1프레임집합의 프레임으로부터 색상을 포함하는 비주얼 특징의 평균, 메디안(median)을 포함하는 통계량을 그룹프레임의 특징으로 정의하는 단계; 및

(c2) 상기 그룹프레임 특징을 기초로 생성한 판별함수로부터 얻은 해당 동영상의 판별값을 상기 제2판별값으로 생성하는 단계;를 포함하는 것을 특징으로 하는 동영상의 비주얼 특징을 이용한 유해 동영상 판별함수 생성 방법.
(a) 유해 혹은 무해로 분류한 동영상들로부터 프레임을 추출 후 선별하여 프레임기반 판별함수를 기초로 하는 제1판별값, 프레임을 묶은 그룹프레임기반 판별 함수를 기초로 하는 제2판별값, 그리고 상기 제1내지 제2판별값을 조합하여 종합 판별함수를 생성하는 단계;

(b) 유해 여부 판단이 필요한 입력 동영상에서 프레임을 추출하는 단계;

(c) 상기 입력 동영상의 프레임별 특징을 상기 프레임기반 판별함수에 대입하여 프레임별 유해 여부를 수행한 후 제3판별값을 생성하고, 상기 추출된 프레임들중에서 선별하여 형성한 그룹 프레임의 비주얼 특징을 상기 그룹프레임기반 판별함수에 대입하여 그룹 프레임별 유해 여부를 수행한 후 제4판별값을 생성하는 단계; 및

(d) 상기 제3 내지 제4판별값을 조합한 후 상기 종합 판별함수에 대입하여 입력 동영상의 유해 여부를 판단하는 단계;를 포함하는 것을 특징으로 하는 동영상의 비주얼 특징을 이용한 유해 동영상 판별 방법.
제5항에 있어서, 상기 (a)단계는

(a1) 유해 혹은 무해로 분류된 동영상들의 집합에서 각 동영상별로 소정 개수의 프레임들을 추출하여 제1프레임집합을 형성하고, 상기 프레임들을 선별하여 제2프레임집합을 형성하는 단계;

(a2) 상기 제2프레임집합의 프레임의 비주얼 특징을 추출하여 프레임기반 판별함수를 생성한 후, 상기 제1프레임집합의 프레임별로 유해 판별을 하여 상기 제1판별값을 생성하는 단계;

(a3) 상기 제1프레임집합의 프레임들을 하나의 그룹으로 하여 그 그룹의 비 주얼 특징을 추출하여 그룹프레임기반 판별함수를 생성한 후, 상기 그룹의 유해 판별을 하여 상기 제2판별값을 생성하는 단계; 및

(a4) 상기 제1판별값과 제2판별값을 상기 동영상의 대표 특징값으로 하여 상기 종합 판별함수를 생성하는 단계;를 포함하는 것을 특징으로 하는 동영상의 비주얼 특징을 이용한 유해 동영상 판별 방법.
제5항에 있어서, 상기 프레임기반 판별함수, 그룹프레임기반 판별함수는 기계학습방법을, 그리고 종합 판별함수는 통계적 판별 분석 방법, 기계학습방법, 혹은 규칙생성방법 중의 하나가 적용되어 구해지는 것을 특징으로 하는 동영상의 비주얼 특징을 이용한 유해 동영상 판별 방법.
제6항에 있어서, 상기 (a2)단계는

(a211) 상기 제2프레임집합의 프레임으로부터 색상을 포함하는 비주얼 특징을 추출하여 상기 프레임기반 판별함수를 생성하는 단계;

(a22) 상기 생성된 프레임기반 판별함수를 적용하여 프레임별로 유해 여부를 판단하는 단계; 및

(a23) 상기 유해 판별 결과로부터 얻어지는 유해 프레임의 비율, 프레임별 판별값의 평균값, 정수개의 유해 판별 프레임의 결과값의 합을 포함하는 값 중의 하나로 상기 제1판별값을 정의하는 단계;를 포함하는 것을 특징으로 하는 동영상의 비주얼 특징을 이용한 유해 동영상 판별 방법.
제6항에 있어서, 상기 (a3)단계는

(a31) 상기 제1프레임집합의 프레임으로부터 색상을 포함하는 비주얼 특징의 평균, 메디안(median)을 포함하는 통계량을 그룹프레임의 특징으로 정의하는 단계; 및

(a32) 상기 그룹프레임 특징을 기초로 생성한 판별함수로부터 얻은 해당 동영상의 판별값을 상기 제2판별값으로 생성하는 단계;를 포함하는 것을 특징으로 하는 동영상의 비주얼 특징을 이용한 유해 동영상 판별 방법.
제5항에 있어서, 상기 제3판별값은

상기 프레임기반 판별함수를 기초로 얻어지는 프레임별 판별결과로부터 유해프레임의 비율, 프레임별 판별값의 평균값, 정수개의 유해 판별 프레임의 결과값을 포함하는 값 중의 하나로 정의되는 것을 특징으로 하는 동영상의 비주얼 특징을 이용한 유해 동영상 판별 방법.
제5항에 있어서, 상기 제4판별값은

상기 그룹 프레임의 색상을 포함하는 비주얼 특징값들의 평균, 메디안을 포함하는 통계량으로 정의되는 그룹 프레임의 특징을 상기 그룹프레임기반 판별함수에 대입하여 얻어지는 판별값인 것을 특징으로 하는 동영상의 비주얼 특징을 이용한 유해 동영상 판별 방법.
동영상을 종류별로 분류한 후 소정 개수의 프레임들로 형성되는 제1프레임집합. 그리고 상기 제1프레임집합에서 선별된 프레임들로 제2프레임집합을 형성하여 출력하는 프레임집합형성부;

상기 제2프레임집합의 프레임의 비주얼 특징을 추출한 후 프레임기반 판별함수를 생성하여 상기 제1프레임집합의 프레임별 유해 판별을 수행하여 제1판별값을 출력하는 프레임기반 판별값생성부;

상기 제1프레임집합의 프레임들을 그룹으로 형성한 후 그룹의 비주얼 특징을 추출한후 그룹프레임기반 판별함수를 생성하여 상기 그룹의 유해 판별을 수행하여 제2판별값을 출력하는 그룹프레임기반 판별값생성부; 및

상기 제1 내지 제2판별값을 입력받아 통계적 판별분석, 기계학습, 규칙생성중의 하나를 적용하여 종합판별함수를 출력하는 제3판별함수생성부;를 포함하는 것을 특징으로 하는 동영상의 비주얼 특징을 이용한 유해 동영상 판별함수 생성 장치.
제12항에 있어서, 상기 프레임기반 판별값생성부는

상기 제2프레임집합의 프레임의 제1비주얼 특징을 추출하는 특징추출부;

상기 추출된 비주얼 특징에 기계학습방법을 적용하여 프레임기반 판별함수를 출력하는 제1판별함수생성부;

상기 제1프레임집합의 프레임의 제2비주얼 특징을 추출하는 프레임특징추출 부;

상기 제2비주얼 특징과 상기 프레임기반 판별함수를 입력받아 상기 제1프레임집합의 각 프레임의 유해여부를 판단하는 프레임판단부; 및

상기 판단 결과를 입력받아 유해 프레임의 비율, 프레임별 판별값의 평균값, 정수개의 유해 판별 프레임의 결과값의 합 중 하나로 상기 제1판별값을 출력하는 제1판별값생성부;를 포함하는 것을 특징으로 하는 동영상의 비주얼 특징을 이용한 유해 동영상 판별함수 생성 장치.
제12항에 있어서, 상기 그룹프레임기반 판별값생성부는

상기 제1프레임집합을 구성하는 프레임의 비주얼 특징의 평균, 메디안(median)을 포함하는 통계량을 그룹프레임의 특징으로 추출하는 그룹프레임특징추출부

상기 특징을 기계학습방법의 입력으로 하여 그룹프레임기반의 판별함수를 생성하는 제2판별함수생성부; 및

상기 그룹프레임기반의 판별함수에 상기 그룹프레임의 특징을 대입하여 상기 제2판별값을 출력하는 제2판별값생성부;를 포함하는 것을 특징으로 하는 동영상의 비주얼 특징을 이용한 유해 동영상 판별함수 생성 장치.
동영상 프레임의 비주얼 특징을 기초로 생성되는 프레임기반 판별함수, 그룹프레임기반 판별함수 및 종합판별함수를 입력받아 입력동영상의 비주얼 특징을 이용하여 유해 판단을 수행하는 장치에 있어서,

상기 입력동영상에서 소정 개수의 프레임을 추출하는 프레임 추출부;

상기 추출된 프레임에서 프레임기반의 제1비주얼특징과 그룹프레임기반의 제2비주얼특징을 추출하는 입력프레임특징부;

상기 제1비주얼 특징을 상기 프레임기반 판별함수에 대입하여 유해여부를 판단한 후 제3판별값을 출력하는 제3판별값생성부;

상기 제2비주얼 특징을 상기 그룹프레임기반 판별함수에 대입하여 유해여부를 판단한 후 제4판별값을 출력하는 제4판별값생성부; 및

상기 제3 내지 제4판별값을 조합한 후 상기 종합 판별함수에 대입하여 상기 동영상의 유해 여부를 결정하는 유해판단부;를 포함하는 것을 특징으로 하는 동영상의 비주얼 특징을 이용한 유해 동영상 판단 장치.
제15항에 있어서, 상기 입력프레임특징부는

상기 프레임의 색상을 포함하는 제1비주얼 특징을 추출하는 입력프레임특징추출부;

상기 프레임을 그룹화한 후 그룹프레임의 색상을 포함하는 특징의 평균값 혹은 메디안을 포함하는 통계량을 그룹프레임의 제2비주얼 특징으로 추출하는 입력그룹프레임특징추출부;를 포함하는 것을 특징으로 하는 동영상의 비주얼 특징을 이용한 유해 동영상 판단 장치.
제15항에 있어서, 상기 제3판별값생성부는

상기 유해여부 판단 결과로부터 유해 프레임의 비율, 프레임별 판별값의 평균값, 정수개의 유해 판별 프레임의 결과값을 포함하는 값 중의 하나로 상기 제3판별값을 출력하는 것을 특징으로 하는 동영상의 비주얼 특징을 이용한 유해 동영상 판단 장치.