KR102022014B1

KR102022014B1 - 유해 콘텐츠 탐지 장치

Info

Publication number: KR102022014B1
Application number: KR1020170088226A
Authority: KR
Inventors: 최갑천
Original assignee: 최갑천
Priority date: 2017-07-12
Filing date: 2017-07-12
Publication date: 2019-09-17
Also published as: KR20190007175A

Abstract

본 발명의 유해 콘텐츠 탐지 장치는 동영상에 포함된 오디오를 추출하는 추출부; 추출된 상기 오디오를 서버로 송신하는 단말 통신부; 상기 동영상 중 유해성을 갖는 유해물을 처리하는 처리부;를 포함하고, 상기 단말 통신부는 상기 서버로부터 상기 오디오의 분류 정보를 수신하며, 상기 처리부는 상기 오디오의 분류 정보를 이용해서 상기 동영상의 유해성을 판별할 수 있다.

Description

유해 콘텐츠 탐지 장치{APPARATUS FOR DETECTING HARMFUL CONTENTS}

본 발명은 유해 콘텐츠에 해당하는 동영상을 탐지 및 처리하는 장치에 관한 것이다.

인터넷 문화가 다양하게 확산되면서 개인이 자유롭게 UCC(User Created Contents)를 제작하여 다른 사용자들과 공유할 수 있는 시스템이 도입되었다. 이는 개개인이 보유하고 있는 정보를 자유롭게 공유할 수 있다는 장점이 있는 반면 사람에게 악영향을 끼치는 정보 또한 무분별하게 유통될 수 있는 문제점을 수반하고 있다.

따라서, 사람에게 악영향을 끼치는 유해 컨텐츠를 탐지하고 처리하는 기술이 요구되고 있다.

한국등록특허공보 제1112215호에는 바이노널 비트(Binarual Bit), 마약 흡입 효과를 유발하는 아이도저(i-doser)를 탐지하는 기술이 개시되고 있으나, 바이노널 비트 또는 아이도저가 배제된 동영상의 유해성을 판단하기 어려운 문제가 있다.

한국등록특허공보 제1112215호

본 발명은 유해 동영상을 탐지하고 처리할 수 있는 유해 콘텐츠 탐지 장치를 제공하기 위한 것이다.

본 발명이 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 발명의 유해 콘텐츠 탐지 장치는 단말기로부터 수신된 오디오를 분석해서 상기 오디오의 특징점을 추출하는 분석부; 상기 특징점을 이용해서 상기 오디오를 분류하는 분류부; 상기 오디오의 분류 정보를 상기 단말기로 송신하는 서버 통신부;를 포함할 수 있다.

본 발명의 유해 콘텐츠 탐지 장치는 동영상을 형성하는 막대한 양의 데이터를 분석하는 대신, 동영상에 포함된 오디오를 집중적으로 분석해서 해당 동영상의 유해성을 판단할 수 있다.

본 발명의 유해 콘텐츠 탐지 장치는 오디오의 특징점을 이용해서 오디오를 복수 종류로 분류할 수 있다. 오디오의 분류는 딥러닝을 수행하는 서버에 의해 이루어지므로, 높은 정확도를 가질 수 있다.

단말기는 서버에 의해 분류된 오디오의 분류 정보를 이용해서 소스가 된 동영상을 다양한 그룹으로 분류할 수 있다.

본 발명은 복수 종류 중 유해 그룹을 자유롭게 선택할 수 있도록 형성되므로, 각 타겟 사용자별로 적절하게 유해 그룹을 부여할 수 있다.

본 발명은 동영상 자체가 아닌 동영상에 포함된 일부 오디오를 이용해서 동영상을 분류하므로, 처리 부하가 적고 처리 속도가 빠른 장점이 있다.

또한, 본 발명의 유해 콘텐츠 탐지 장치는 딥러닝에 기반하여 동영상을 분류하므로, 정확도가 높은 장점이 있다.

도 1은 본 발명의 유해 콘텐츠 탐지 장치를 나타낸 블록도이다.
도 2는 본 발명의 분류부의 동작을 나타낸 개략도이다.
도 3은 본 발명의 학습부 및 분류부의 동작을 나타낸 개략도이다.
도 4는 처리부의 동작을 나타낸 개략도이다.
도 5는 제1 실시예의 유해 콘텐츠 탐지 장치의 동작을 나타낸 흐름도이다.
도 6은 제2 실시예의 유해 콘텐츠 탐지 장치의 동작을 나타낸 흐름도이다.
도 7은 제3 실시예의 유해 콘텐츠 탐지 장치의 동작을 나타낸 흐름도이다.

이하, 첨부된 도면들을 참조하여 본 발명에 따른 실시예를 상세히 설명한다. 이 과정에서 도면에 도시된 구성요소의 크기나 형상 등은 설명의 명료성과 편의상 과장되게 도시될 수 있다. 또한, 본 발명의 구성 및 작용을 고려하여 특별히 정의된 용어들은 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 한다.

도 1은 본 발명의 유해 콘텐츠 탐지 장치를 나타낸 블록도이다.

도 1에 도시된 유해 콘텐츠 장치는 단말기(100) 및 서버(200)를 포함할 수 있다.

음란물, 폭력물 등의 동영상은 성인이 아닌 청소년이 시청하기에는 무리가 있다. 그렇다고, 청소년의 성인물 시청을 방지하기 위해, 청소년의 단말기 사용을 금지하는 것도 무리가 있다. 따라서, 성인물의 시청을 제한하는 범위 내에서 단말기를 사용할 수 있는 환경이 제공될 필요가 있다.

한편, 음란물 또는 폭력물이 청소년에게 유해한 것처럼, 사용자별로 유해한 콘텐츠가 다를 수 있다. 일 예로, 학교 시험을 앞둔 사용자가 공부 시간에 자신이 좋아하는 야구를 본다면, 해당 야구 동영상은 해당 사용자의 유해 콘텐츠가 될 수 있다.

복수의 동영상 중 유해 콘텐츠를 파악하는 다양한 방안이 마련될 수 있다. 일 예로, 동영상에 포함된 이미지를 분석해서 투수, 포수, 타자가 등장하는 야구인 것을 파악할 수 있다. 그런데, 막대한 데이터량을 갖는 동영상 전체를 분석하는데에는 많은 시간이 필요하고, 야구 하이라이트를 제공하는 뉴스를 야구 동영상으로 파악하는 것과 같이 정확도가 낮은 문제가 있다.

유해 콘텐츠의 파악 속도와 정확도를 개선하고, 사용자별로 유해 콘텐츠를 다르게 설정하기 위해 단말기(100)와 서버(200)가 이용될 수 있다.

본 명세서에 기재된 '동영상'은 동영상 데이터를 지칭하고, '오디오'는 음향 데이터, 음성 데이터 등의 오디오 데이터를 지칭할 수 있다.

유해 콘텐츠의 파악 속도와 정확도 등을 개선하기 위해, 본 발명의 유해 콘텐츠 탐지 장치는 동영상에 포함된 오디오를 이용할 수 있다.

단말기(100)는 추출부(110), 단말 통신부(130), 처리부(150)를 포함할 수 있다. 이때, 단말기(100)는 스마트폰 등의 이동 통신 단말기, 퍼스널 컴퓨터(PC) 등을 포함할 수 있다.

본 발명의 추출부(110)는 동영상에 포함된 오디오를 추출할 수 있다. 본 발명에 따르면, 유해 콘텐츠의 판단 인자로서, 막대한 데이터량을 갖는 동영상의 영상 데이터가 이용되지 않고, 영상 데이터와 비교하여 작은 용량을 갖는 오디오가 이용될 수 있다.

추출부(110)에 의해 추출된 오디오는 정확한 분석을 위해 서버(200)로 전송되는데, 통신 부하를 경감하기 위해 오디오의 데이터량은 적을수록 유리하다.

데이터량을 줄이기 위해 추출부(110)는 동영상에 포함된 오디오를 간헐적으로 추출할 수 있다.

추출부(110)는 단말 통신부(130)를 통해 인터넷, 유튜브(youtube), 페이스북(facebook), sns 등에서 실시간으로 스트리밍되는 동영상의 오디오를 추출할 수 있다. 본 실시예에 따르면, 실시간으로 스트리밍되는 동영상의 유해성이 판별될 수 있다.

추출부(110)는 동영상의 관련 정보를 추출할 수 있다. 이때, 관련 정보는 동영상의 URL(Uniform Resource Locator, 인터넷 정보의 위치) 또는 동영상의 해쉬(Hash) 정보를 포함할 수 있다.

단말 통신부(130)는 오디오의 송신 전에 관련 정보를 서버로 송신하거나, 오디오와 함께 관련 정보를 서버로 송신할 수 있다.

추출부(110)는 메모리, 하드디스크 등 단말기(100)에 마련된 저장 수단(미도시)에 기저장된 동영상의 오디오를 추출할 수 있다. 본 실시예에 따르면, 저장 수단에 기저장된 동영상의 유해성이 판별될 수 있다. 일 예로, 추출부(110)는 저장 수단을 주기적으로 스캔하여 유해물을 탐색할 수 있다.

추출부(110)는 동영상을 재생하는 플레이어가 구동되면, 플레이어의 재생 대상이 되는 동영상으로부터 오디오를 추출할 수 있다. 본 실시예에 따르면, 플레이어의 재생 대상이 되는 실시간 동영상의 유해성이 판별될 수 있다.

단말 통신부(130)는 추출부(110)에 의해 추출된 오디오를 유무선 통신망(90)을 통해 서버(200)로 송신할 수 있다.

서버(200)는 단말 통신부(130)로부터 수신된 오디오를 분석해서 오디오를 설정 규칙에 따라 분류하고, 오디오의 분류 정보를 단말 통신부(130)로 송신할 수 있다.

단말 통신부(130)는 서버(200)로부터 오디오의 분류 정보를 수신할 수 있다.

또한, 단말 통신부(130)는 별도의 콘텐츠 서버로부터 제공되는 동영상을 다운받거나, 스트리밍받을 수도 있다.

처리부(150)는 동영상 중 유해성을 갖는 유해물을 처리할 수 있다. 이때, 처리부(150)는 서버(200)로부터 수신된 오디오의 분류 정보를 이용해서 동영상의 유해성을 판별할 수 있다.

특정 동영상의 유해성 판별에 소정의 대기 시간이 필요할 수 있다. 대기 시간 동안 유해성 판별을 대기하는 동영상이 재생되면, 유해 콘텐츠 탐지의 효용성이 낮아질 수밖에 없다. 유해성 판별의 대기 시간 동안 유해 동영상의 재생이 방지되도록, 처리부(150)는 스트리밍되는 동영상의 재생을 동영상의 유해성이 판별될 때까지 보류시킬 수 있다.

사용자별로 유해 콘텐츠가 다른 점을 고려해서, 본 발명의 유해 콘텐츠 탐지 장치에는 유해 분류를 설정하는 설정부(170)가 추가로 마련될 수 있다.

처리부(150)는 오디오의 분류 정보가 설정부(170)에 의해 기설정된 유해 분류에 매칭되면, 오디오 추출의 소스가 된 동영상을 유해물로 판별할 수 있다.

설정부(170)는 유해 분류의 설정 메뉴를 단말기의 표시 수단, 예를 들어 디스플레이(10)에 표시할 수 있다.

표시 수단을 통해 설정 메뉴를 제공받은 감독자는 터치스크린, 마우스, 키보드 등의 입력 수단을 이용해서 설정 메뉴에 포함된 복수의 분류 중에서 유해 분류를 선택적으로 설정할 수 있다. 이때, 감독자는 사용자 본인, 사용자를 관리감독할 수 있는 보호자, 부모, 감독관 등을 포함할 수 있다.

일 예로, 설정부(170)는 동영상을 제1 그룹 ①, 제2 그룹 ②, 제3 그룹 ③, 제4 그룹 ④, 제5 그룹 ⑤,...등으로 분류할 수 있는 설정 메뉴를 제공할 수 있다.

구체적으로, 설정부(170)는 수학 교육과 관련된 동영상을 제1 그룹 ①로 설정할 수 있다. 설정부(170)는 물리 교육과 관련된 동영상을 제2 그룹 ②로 설정할 수 있다. 설정부(170)는 야구 동영상을 제3 그룹 ③으로 설정할 수 있다. 설정부(170)는 게임 동영상을 제4 그룹 ④로 설정할 수 있다. 설정부(170)는 성인물 동영상을 제5 그룹 ⑤로 설정할 수 있다. 경우에 따라, 특정 동영상은 복수의 그룹에 모두 포함될 수도 있다.

감독자에 의해 제3 그룹 ③이 유해 분류로 선택되면, 설정부(170)는 제3 그룹 ③을 유해 분류로 설정할 수 있다.

처리부(150)는 서버(200)로부터 수신된 오디오의 분류 정보와 설정부(170)에 의해 유해 분류로 설정된 제3 그룹 ③과 비교하고, 양자가 동일하게 매칭되면 오디오 분류 정보의 소스가 된 동영상을 유해물로 판별할 수 있다.

일 예로, 오디오의 분류 정보가 유해 분류가 아닌 게임 동영상이면, 처리부(150)는 소스가 된 동영상을 유해성이 없는 동영상으로 판별하고 별다른 조치를 취하지 않을 수 있다. 그 결과, 게임 동영상은 처리부(150)의 제한을 받지 않고 정상적으로 재생될 수 있다.

일 예로, 오디오의 분류 정보가 유해 분류로 설정된 제3 그룹 ③에 매칭되는 야구 동영상이면, 처리부(150)는 소스가 된 동영상을 유해성을 갖는 유해물로 판별하고 재생을 제한하는 등의 각종 처리를 수행할 수 있다.

감독자에 의해 유해 분류가 설정되지 않은 상태에서, 초기 기본값으로 특정 그룹이 유해 분류로 설정될 수 있다. 일 예로, 성인물 동영상이 포함된 제5 그룹 ⑤가 초기 유해 분류로 설정될 수 있다.

처리부(150)는 동영상 중 유해성을 갖는 유해물을 다양하게 처리할 수 있다.

일 예로, 처리부(150)는 유해 분류에 매칭되는 동영상, 즉 유해물을 삭제할 수 있다.

또는, 처리부(150)는 유해물이 표시되는 단말기(100)의 표시 수단에 유해물의 탐지 결과를 표시하거나, 스마트폰 등 기설정된 외부 단말기로 유해물의 탐지 결과를 송신할 수 있다. 일 예로, 처리부(150)는 유체물의 탐지 결과를 미리 등록되어 있는 연락처(전화 번호, SNS, 이메일(e-mail)로 알람 형식으로 발송할 수 있다.

또는, 처리부(150)는 유해물을 재생하는 플레이어(11)의 구동을 정지시킬 수 있다. 또는 처리부(150)는 동영상의 재생에 필요한 비밀 번호(password)를 유해물에 부여하거나, 암호화 알고리즘을 이용해 유해물 자체를 암호화할 수 있다.

이상의 단말기(100)에 따르면, 자신의 감독하에 있는 사용자의 야구 시청을 제한하고자 하는 경우, 감독자는 설정 메뉴를 통해 야구 동영상이 포함된 제3 그룹 ③을 유해 분류로 설정할 수 있다. 성인물 동영상의 시청을 제한하고자 하는 경우, 감독자는 성인물 동영상으로 분류된 제5 그룹 ⑤를 유해 분류로 설정할 수 있다.

감독자는 설정 메뉴를 통해 유해 분류의 설정을 자유롭게 해제할 수도 있다.

서버(200)로부터 수신된 오디오의 분류 정보가 기설정된 유해 분류에 매칭되면, 처리부(150)는 오디오의 소스가 된 동영상을 삭제하는 등의 처리를 수행할 수 있다.

단말기(100)로부터 수신된 오디오를 이용해서 오디오의 분류 정보를 생성하는 서버(200)는 분석부(210), 분류부(230), 서버 통신부(250), 학습부(270)를 포함할 수 있다.

서버 통신부(250)는 유무선 통신망(90)을 이용하여 단말기(100)와 통신할 수 있다.

서버 통신부(250)는 단말기(100)로부터 오디오를 수신하거나, 오디오의 분류 정보를 단말기(100)로 송신할 수 있다.

서버 통신부(250)는 오디오의 소스가 되는 동영상의 관련 정보를 단말기(100)로부터 수신할 수 있다. 이때, 관련 정보는 동영상의 URL(Uniform Resource Locator, 인터넷 정보의 위치) 또는 동영상의 해쉬(Hash) 정보를 포함할 수 있다.

분석부(210)는 단말기(100)로부터 수신된 오디오를 분석해서 오디오의 특징점을 추출할 수 있다.

오디오는 매우 복잡한 파형을 가지며, 파형을 그대로 이용해서 다양한 종류로 분류하는 작업에 적합하지 않다. 따라서, 오디오의 분류 작업에 오디오의 파장, 주파수, 피크값(진폭) 등의 특징점이 이용될 수 있다.

일 예로, 분석부(210)는 오디오를 주파수 변환하고, 주파수 변환된 값으로부터 해당 오디오의 탬플릿 또는 패턴을 획득할 수 있다. 이때, 설정 시간 구간의 해당 탬플릿 또는 패턴이 오디오의 특징점에 포함될 수 있다.

오디오의 특징점은 오디오 신호 자체와 비교하여 매우 작은 용량을 가질 수 있다. 일 예로, 오디오의 특징점은 이진화된 텍스트 파일로 저장될 수 있다.

분류부(230)는 오디오의 특징점을 이용해서 오디오 자체를 복수 종류의 그룹으로 분류할 수 있다.

도 2는 본 발명의 분류부(230)의 동작을 나타낸 개략도이다.

분류부(230)는 오디오 m을 제1 그룹 ①, 제2 그룹 ②, 제3 그룹 ③, 제4 그룹 ④, 제5 그룹 ⑤,...과 같이 분류할 수 있다.

제1 그룹, 제2 그룹 등의 각 그룹은 서버(200)의 관리자에 의해 설정되거나, 학습부(270)에 의해 자동으로 설정될 수 있다.

분류의 정확도를 개선하기 위해, 학습부(270)는 오디오의 특징점을 딥러닝(deep learning)할 수 있다. 분류부(230)는 학습부(270)의 학습 결과를 이용해서 오디오를 분류할 수 있다.

딥러닝의 핵심은 분류를 통한 예측일 수 있다. 수많은 데이터 속에서 패턴을 발견해 인간이 사물을 구분하듯이 학습부(270)는 딥러닝을 통해 오디오의 특징점을 분류할 수 있다.

학습부(270)는 복수의 오디오의 특징점을 이용해 파악한 템플릿 또는 패턴을 도 2와 같이 분류하고, 서로 유사한 템플릿 또는 패턴을 갖는 오디오의 특징점들을 묶어 하나의 그룹으로 설정하고, 다른 그룹과 구별할 수 있다.

분류부(230)는 학습부(270)에 의해 설정된 복수의 그룹 중 적어도 하나로 오디오를 분류할 수 있다.

단말기(100)에 마련된 설정부(170)에서 제공하는 설정 메뉴는 학습부(270) 또는 분류부(230)의 분류 결과를 받아 생성될 수 있다. 그 결과, 설정부(170)의 설정 메뉴에 포함된 분류와 분류부(230)의 분류는 서로 동일할 수 있다.

일 예로, 분류부(230)는 수학 교육과 관련된 오디오를 제1 그룹 ①로 분류할 수 있다. 분류부(230)는 물리 교육과 관련된 오디오를 제2 그룹 ②로 분류할 수 있다. 분류부(230)는 야구와 관련된 오디오를 제3 그룹 ③으로 분류할 수 있다. 분류부(230)는 게임과 관련된 오디오를 제4 그룹 ④로 분류할 수 있다. 분류부(230)는 성인물과 관련된 오디오를 제5 그룹 ⑤로 분류할 수 있다. 경우에 따라, 특정 오디오는 복수의 그룹에 모두 포함될 수도 있다.

일 예로, 야구와 관련된 오디오의 경우, '스트라이크', '볼', '아웃', '안타', '도루' 등의 야구 용어가 자주 등장한다. 이때, 학습부(270)는 '스트라이크' 등의 말을 나타내는 주파수, 진폭, 파장 등의 특징점을 갖는 오디오들을 한데 모아 야구 오디오로 분류할 수 있다.

분류부(230)는 학습부(270)에서 사용되는 분류를 그대로 이용해서 현재 오디오를 야구와 관련된 오디오로 분류할 수 있다.

분류부(230)는 오디오의 특징점을 이용해서 오디오를 분류할 뿐 각 그룹의 유해성 여부는 판단하지 않을 수 있다. 왜냐하면, 각 사용자별로 유해성 갖는 유해물이 다를 수 있기 때문이다.

분류부(230)는 단순히 오디오의 분류 정보를 단말기(100)로 제공할 수 있다.

분류부(230)가 학습부(270)의 학습 결과를 이용해서 오디오를 분류하는 경우, 분류의 정확도는 학습부(270)의 학습 결과에 기초할 수 있다. 따라서, 분류부(230)에 의한 오디오 분류의 정확도 개선은 학습부(270)의 학습 정도에 따라 좌우될 수 있다.

학습부(270)의 학습 결과 정확도를 개선하기 위해서는 양질의 오디오 특징점을 이용한 학습부(270)의 학습과 테스트가 지속적으로 이루어져야 한다.

오디오의 분류 정확도를 개선하기 위해, 서버(200)에는 샘플부(290)가 추가로 마련될 수 있다.

샘플부(290)는 오디오의 특징점이 포함된 샘플을 학습부(270)로 제공할 수 있다. 학습부(270)는 추출부(110)로부터 획득된 오디오의 특징점 및 샘플부(290)로부터 획득된 샘플 중 적어도 하나를 이용해서 딥러닝을 수행할 수 있다.

샘플부(290)는 샘플이 저장된 다른 서버(20)로부터 샘플을 전송받아 학습부(270)로 제공할 수 있다.

학습부(270)는 샘플을 이용해서 지속적 또는 주기적으로 딥러닝을 수행하면서, 오디오 특징점의 분류 정확도를 개선할 수 있다.

딥러닝이 적용된 분류부(230), 학습부(270)에 따르면, 기존 오디오의 특징점이 수정되거나 새로운 오디오의 특징점이 입력되더라도, 각 오디오가 정확하게 다양한 그룹으로 분류될 수 있다.

또한, 딥러닝이 적용된 분류부(230)의 분류 과정에 따르면, 인간의 감별 과정이 필요치 않으므로, 자동화가 가능하다. 또한, 오디오 특징점이 갖는 일정한 패턴을 이용해서 각 오디오가 분류되므로, 새로운 오디오의 특징점이 입수되더라도 기존 학습 결과에 기초한 분류 정확도가 높은 장점이 있다.

도 3은 본 발명의 학습부(270) 및 분류부(230)의 동작을 나타낸 개략도이다.

학습부(270)는 구동 초기 t0에 추출부(110) 또는 샘플부(290)로부터 학습 데이터를 받지 못한 상태일 수 있다. 따라서, 학습부(270)의 구동 초기 t0에는 분류부(230)에 제공할만한 학습 결과가 없는 상태일 수 있다. 그 결과, 구동 초기 t0에 분류부(230)는 추출부(110)로부터 추출된 오디오의 특징점을 이용해서 오디오를 분류하기 어렵다.

구동 초기 t0에도 분류부(230)가 정상적으로 동작하도록, 학습부(270)는 다른 서버(20)에 저장된 기학습 결과를 기초로 딥러닝을 개시할 수 있다. 기학습 결과를 토대로 딥러닝이 개시되므로, 학습부(270)로부터 출력된 새로운 학습 결과의 정확도가 구동 초기부터 높게 유지될 수 있다. 물론, 다른 서버(20)로부터 획득한 기학습 결과는 현재 서버(200)에 최적화되지 않은 범용성을 갖는 한계를 가지므로, 학습부(270)로부터 새로운 학습 결과가 출력되는 시점부터 새로운 학습 결과를 이용해서 분류 작업이 수행되는 것이 좋다.

분류부(230)는 학습부(270)의 구동 초기 t0에 다른 서버(20)로부터 획득한 기학습 결과 a를 이용해서 오디오를 분류할 수 있다. 분류부(230)는 학습부(270)로부터 새로운 학습 결과 b가 나오면, 새로운 학습 결과 b가 나온 시점 t1부터 학습부(270)의 학습 결과 b를 이용해서 오디오를 분류할 수 있다.

도 4는 처리부(150)의 동작을 나타낸 개략도이다.

단말기의 표시 수단은 디스플레이(10)를 포함할 수 있다. 이때, 디스플레이(10)에 표시되는 특정 동영상은 누군가에게는 유해 콘텐츠에 해당하고, 다른 누군가에게는 유해하지 않은 무해 콘텐츠에 해당할 수 있다. 이러한 상황을 고려해, 처리부(150)는 유해 동영상을 삭제하는 대신, 해당 유해 동영상에 비밀 번호를 부여하거나 특정 알고리즘으로 암호화할 수 있다.

유해 동영상에는 비밀 번호와 함께 비밀 번호를 입력할 수 있는 입력 메뉴(13)가 부가될 수 있다. 이때, 입력 메뉴(13)는 표시 수단에 표시되는 동영상 플레이어(11)를 가릴 수 있는 크기로 형성될 수 있다.

입력 메뉴(13)에 기설정된 비밀 번호가 정상적으로 입력되면, 플레이어(11)를 가린 입력 메뉴(13)가 사라지고 플레이어(11)가 정상적으로 동작하면서, 유해 동영상이 재생될 수 있다.

본 발명의 유해 콘텐츠 탐지 방법은 단말기(100)에 의해 동영상으로부터 오디오를 추출하는 단계, 단말기(100)에 의해 추출된 오디오가 서버(200)로 업로드되는 단계, 서버(200)에 의해 오디오의 특징점이 분석되는 단계, 특징점을 이용하는 서버(200)에 의해 오디오가 분류되는 단계, 서버(200)에 의해 오디오의 분류 정보가 단말기(200)로 전송되는 단계, 단말기(100)에서 오디오의 분류 정보를 이용하여 오디오의 소스가 된 동영상의 유해성을 판별하는 단계, 단말기(100)에 의해 유해물이 처리되는 단계를 포함할 수 있다.

복수의 그룹 중 유해성을 결정하는 유해 그룹의 설정 단계는 사용자에 의해 선택적으로 이루어질 수 있다.

서버(200)에는 유해물로 설정된 동영상의 유해 정보가 저장된 데이터베이스(미도시)가 마련될 수 있다.

분류부는 단말기(100)로부터 수신된 동영상의 관련 정보가 유해물로 기설정된 유해 정보에 매칭되는지 확인할 수 있다. 확인 결과, 해당 관련 정보가 유해 정보에 매칭되면 유해물임을 나타내는 알람 신호를 생성해서 단말기로 전달할 수 있다.

분류부는 관련 정보가 유해 정보에 비매칭되면, 딥러닝이 적용된 오디오의 분류 정보를 단말기로 전달할 수 있다.

도 5는 제1 실시예의 유해 콘텐츠 탐지 장치의 동작을 나타낸 흐름도이다.

단말기(100)에서 재생되는 동영상은 인터넷으로부터 스트리밍될 수 있다(S 510).

단말기(100)의 추출부(110)는 스트리밍되는 동영상의 URL(Uniform Resource Locator, 인터넷 정보의 위치)을 추출해서 서버(200)로 전달할 수 있다(S 520).

서버(200)의 분류부(230)는 수신된 URL을 기설정된 유해 정보와 비교할 수 있다(S 530). 서버(200)는 해당 동영상이 유해한 것으로 판별되면 단말기(100)의 동영상 플레이어의 동작을 차단하거나 동영상의 스트리밍 제공을 차단할 수 있다(S 560). 차단 후 또는 차단과 동시에 서버(200)는 단말기(100) 또는 관리자의 외부 단말기로 알람 신호를 전달할 수 있다(S 579).

서버(200)의 분류부(230)는 비교 결과 동영상이 무해(정상)한 것으로 판별되면(S 540), 단말기(100)로부터 수신된 오디오에 딥러닝 비교(S 2550)를 적용해서 오디오를 분류할 수 있다. 오디오의 분류 결과에 따라 단말기(200)는 오디오의 소스가 되는 동영상의 차단(S 560), 알람(S 570) 등의 처리를 수행할 수 있다.

도 6은 제2 실시예의 유해 콘텐츠 탐지 장치의 동작을 나타낸 흐름도이다.

단말기(100)는 동영상의 재생 중 또는 재생 전(S 610)에 각 동영상의 해쉬(Hash)를 추출할 수 있다(S 620).

추출된 해쉬는 서버(200)로 전달되며, 서버(200)는 전달받은 해쉬와 기설정된 유해 정보를 비교할 수 있다(S 630).

서버(200)는 오디오의 분류 전에 유해 정보를 이용해서 오디오의 소스가 된 동영상의 유해성을 판별할 수 있다.

동영상이 유해한 것으로 판별되면, 서버(200)는 단말기로 알람 신호를 전달할 수 있다. 알람 신호에 의해 단말기의 동영상 재생이 차단되고(S 660), 알람 신호가 표시될 수 있다(S 670).

해쉬의 판별 결과 무해(정상)한 것으로 판별되면, 서버(200)는 오디오의 특징점을 추출하고(S 640) 딥러닝 비교를 통해 동영상을 분류하거나 유해성을 판별할 있다(S 650).

도 7은 제3 실시예의 유해 콘텐츠 탐지 장치의 동작을 나타낸 흐름도이다.

단말기(100)는 하드디스크 등의 저장 수단을 탐색해서(S 711) 동영상을 찾을 수 있다(S 713).

동영상이 탐색되면 추출부(110)는 해당 동영상의 해쉬(Hash)를 추출할 수 있다. 단말기(100)는 추출된 해쉬를 서버(200)로 송신할 수 있다.

서버(200)는 수신된 해쉬를 기설정된 유해 정보와 비교할 수 있다(S 730).

비교 결과 유해 정보에 매칭되면, 서버(200)는 해당 동영상을 유해물로 판별하고, 단말기(200)로 하여금 해당 동영상을 삭제하도록 할 수 있다(S 760). 서버(200)는 단말기(100)에 알람 신호를 표시할 수 있다(S 770).

해쉬가 유해 정보와 다르면, 서버(200)는 해당 동영상을 정상으로 판별하고, 해당 동영상의 오디오의 특징점을 이용해서(S 740) 오디오를 분류할 수 있다. 오디오의 분류에 딥러닝 비교가 적용될 수 있다(S 750).

이상에서 본 발명에 따른 실시예들이 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 범위의 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 다음의 특허청구범위에 의해서 정해져야 할 것이다.

10...디스플레이 11...동영상 플레이어
13...입력 메뉴 20...다른 서버
100...단말기 110...추출부
130...단말 통신부 150...처리부
170...설정부 200...서버
210...분석부 230...분류부
250...서버 통신부 270...학습부
290...샘플부

Claims

동영상의 오디오의 분류 정보를 제공하는 서버;
상기 동영상에 포함된 오디오를 추출하는 추출부, 추출된 상기 오디오를 서버로 송신하는 단말 통신부, 상기 서버로부터 수신된 오디오의 분류 정보를 이용해서 동영상중 유해성을 갖는 유해물을 처리하는 처리부, 유해 콘텐츠가 다른 사용자별로 유해 분류를 설정하는 설정부를 포함하는 단말기;
를 포함하고,
상기 단말 통신부는 상기 서버로부터 상기 오디오의 분류 정보를 수신하며,
상기 처리부는 상기 오디오의 분류 정보를 이용해서 상기 동영상의 유해성을 판별하고,
상기 처리부는 상기 오디오의 분류 정보가 상기 설정부에 의해 기설정된 상기 유해 분류에 매칭되면, 상기 동영상을 상기 유해물로 판별하며,
상기 설정부는 제1 그룹 내지 제N 그룹으로 분류되는 설정 메뉴를 상기 단말기의 표시 수단에 표시되게 하고,
상기 표시 수단을 통해 상기 설정 메뉴를 제공 받은 감독자는 입력 수단을 통해 상기 설정 메뉴에 포함된 복수의 그룹으로 분류되는 것중 유해 분류를 사용자별로 선택적으로 설정하며,
상기 설정 메뉴의 제1 그룹 내지 상기 제N 그룹중 특정 그룹이 상기 감독자에 의해 유해 분류로 선택되면, 상기 처리부는 서버로부터 수신된 오디오의 분류 정보와 상기 설정부에 의해 유해 분류로 설정된 특정 그룹과 비교하고, 양자가 동일하게 매칭되면 오디오 분류 정보의 소수가 된 동영상을 유해물로 판별하며,
상기 오디오의 분류 정보가 유해 분류가 아닌 특정 그룹이면, 상기 처리부는 소스가 된 동영상을 유해성이 없는 동영상으로 판별하여 해당 특정 그룹은 처리부의 제한을 받지 않고 재생 가능하며,
상기 오디오의 분류 정보가 유해 분류로 분류되는 특정 그룹이면, 상기 처리부는 소스가 된 동영상을 유해성이 있는 동영상으로 판별하여 해당 특정 그룹은 처리부의 제한을 받아 재생을 제한하고,
상기 감독자에 의해 유해 분류가 설정되지 않은 상태에서 특정 그룹이 초기 기본값으로 유해 분류로 설정되며,
상기 추출부는 상기 동영상에 포함된 오디오의 데이터량을 줄이기 위해 오디오를 간헐적으로 추출하고,
상기 추출부는 상기 단말 통신부를 통해 스트리밍되는 동영상의 오디오를 추출하며,
상기 처리부는 스트리밍되는 상기 동영상의 재생을 상기 동영상의 유해성이 판별될 때까지 보류시키는 유해 콘텐츠 탐지 장치.
삭제
삭제
제1항에 있어서,
상기 감독자는 사용자 본인, 사용자를 관리 감독할 수 있는 보호자, 부모, 감독관중 어느 하나가 되고,
상기 추출부는 상기 단말 통신부를 통해 스트리밍되는 동영상의 오디오를 추출하거나, 저장 수단에 기저장된 동영상의 오디오를 추출하는 유해 콘텐츠 탐지 장치.
삭제
제1항에 있어서,
상기 추출부는 상기 동영상을 재생하는 플레이어가 구동되면, 상기 플레이어의 재생 대상이 되는 동영상으로부터 상기 오디오를 추출하는 유해 콘텐츠 탐지 장치.
제1항에 있어서,
상기 처리부는 상기 유해물을 삭제하거나, 재생에 필요한 비밀 번호를 상기 유해물에 부여하거나, 상기 유해물을 암호화하거나, 상기 유해물이 표시되는 단말기의 표시 수단에 상기 유해물의 탐지 결과를 표시하거나, 기설정된 외부 단말기로 유해물의 탐지 결과를 송신하거나, 상기 유해물을 재생하는 플레이어의 구동을 정지시키는 유해 콘텐츠 탐지 장치.
제1항에 있어서,
상기 추출부는 상기 동영상의 관련 정보를 추출하고,
상기 관련 정보는 상기 동영상의 URL(Uniform Resource Locator, 인터넷 정보의 위치) 또는 상기 동영상의 해쉬(Hash) 정보를 포함하며,
상기 단말 통신부는 상기 오디오의 송신 전에 상기 관련 정보를 상기 서버로 송신하거나, 상기 오디오와 함께 상기 관련 정보를 상기 서버로 송신하는 유해 콘텐츠 탐지 장치.
삭제
삭제
삭제
삭제
삭제