KR20230068207A - 모바일 단말에서 유해 동영상 차단을 위한 단말 자원 기반의 적응적 프레임 추출 및 스트리밍 제어 시스템 및 방법 - Google Patents
모바일 단말에서 유해 동영상 차단을 위한 단말 자원 기반의 적응적 프레임 추출 및 스트리밍 제어 시스템 및 방법 Download PDFInfo
- Publication number
- KR20230068207A KR20230068207A KR1020210154308A KR20210154308A KR20230068207A KR 20230068207 A KR20230068207 A KR 20230068207A KR 1020210154308 A KR1020210154308 A KR 1020210154308A KR 20210154308 A KR20210154308 A KR 20210154308A KR 20230068207 A KR20230068207 A KR 20230068207A
- Authority
- KR
- South Korea
- Prior art keywords
- video
- image
- harmfulness
- terminal
- frame extraction
- Prior art date
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 169
- 230000003044 adaptive effect Effects 0.000 title claims abstract description 90
- 230000000903 blocking effect Effects 0.000 title claims abstract description 72
- 238000004458 analytical method Methods 0.000 claims abstract description 149
- 230000008859 change Effects 0.000 claims abstract description 42
- 238000012545 processing Methods 0.000 claims abstract description 33
- 238000013135 deep learning Methods 0.000 claims abstract description 20
- 239000000284 extract Substances 0.000 claims abstract description 16
- 230000004044 response Effects 0.000 claims abstract description 12
- 238000000034 method Methods 0.000 claims description 58
- 238000013527 convolutional neural network Methods 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 19
- 230000000875 corresponding effect Effects 0.000 claims description 14
- 238000009826 distribution Methods 0.000 claims description 9
- 230000000694 effects Effects 0.000 claims description 8
- 230000001276 controlling effect Effects 0.000 claims description 7
- 238000012546 transfer Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000002596 correlated effect Effects 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 claims description 4
- 230000008447 perception Effects 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 3
- 230000006978 adaptation Effects 0.000 claims 2
- 238000012935 Averaging Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 231100001261 hazardous Toxicity 0.000 description 3
- 238000013145 classification model Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000000593 degrading effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
- G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/4424—Monitoring of the internal components or processes of the client device, e.g. CPU or memory load, processing speed, timer, counter or percentage of the hard disk space used
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
- H04N21/4436—Power management, e.g. shutting down unused components of the receiver
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computer Networks & Wireless Communication (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
모바일 단말에서 유해 동영상 차단을 위한 단말 자원 기반의 적응적 프레임 추출 및 스트리밍 제어 시스템이 개시된다. 상기 시스템은 서버; 동영상 프레임을 수신받아 적응적 프레임을 추출하는 적응적 프레임 추출 모듈과, 유해 동영상 차단에 필요한 단말 자원은 단말의 처리 능력과 관련된 요소와 유해 동영상에 대한 대응 결과의 경우 추출된 프레임의 개수와 유해성 분석에 소요된 시간이 존재하며, 딥러닝 기반의 유해성 분석 엔진과, 유해 동영상의 경우 모자이크 처리하는 스트리밍 제어 모듈을 구비하는 사용자 단말을 포함하고, 상기 서버로부터 수신한 동영상 세그먼트의 프레임은 실시간으로 추출된 후 상기 유해성 분석 엔진으로 전달되고, 상기 유해성 분석 엔진은 추출 프레임별 유해성 분석 결과를 유해성 변화 판단 모듈로 전달하여 재생 중인 동영상의 유해성 변화를 판단하며, 유해성 판단 결과는 유해성 분석에 필요한 단말 자원의 변화와 함께 프레임 추출 방식을 조정하기 위해 사용되고, 프레임 추출 방식 조절을 위한 기준이 되는 단말 자원 특성은 사용자 단말의 잔여 배터리의 상태이며, 사용자 단말의 잔여 배터리의 상태는 단말의 스펙에 따라 충분하다고 판단되는 상태(40%), 절전 모드의 기준이 되는 상태(20%)와 초절전 모드의 기준이 되는 상태(10%)로 분류하고, 모바일 단말에서 유해 동영상 차단을 위한 단말 자원 기반의 적응적 프레임 추출 및 동영상 세그먼트의 비트율을 적응적으로 결정하는 HTTP 적응적 스트리밍 기반으로 동작한다.
Description
본 발명은 모바일 단말에서 유해 동영상 차단하기 위해 사용중인 단말의 자원(사용자 단말의 배터리의 상태)을 고려하여 적응적으로 프레임을 추출을 수행하고 유해 동영상을 모자이크 처리하는 사용자 단말 자원 기반의 적응적 프레임 추출 및 스트리밍 제어 시스템에 관한 것이다.
최근, 컴퓨터와 스마트기기의 보급이 증감함에 따라 유무선 인터넷은 PC와 스마트 기기로 접속 가능한 유해 사이트, 유해 동영상들이 범람하고 있으며, 어린이나 청소년과 같이 보호가 필요한 피보호자들은 유해 사이트에 접속하거나 또는 성인 동영상이나 불법 동영상을 다운로드 받거나 유해 동영상에 노출되어 있다.
이를 해결하기 위해, 어린 자녀들과 청소년들에게 유해 사이트를 차단하고, 유해 동영상 차단 기술이 필요하다.
유해 동영상 차단에 필요한 단말 자원은 처리 능력과 관련된 요소와 유해 동영상에 대한 대응 결과로 구분된다. 처리 능력과 관련된 요소의 경우 CPU 점유율과 배터리 소모량이 있으며 유해 동영상에 대한 대응 결과의 경우 추출된 프레임의 개수와 유해성 분석에 소요된 시간이 있다. 사용자 단말은 딥러닝 기반의 유해성 분석 엔진이 존재한다. 서버로부터 수신한 동영상 세그먼트의 프레임은 실시간으로 추출된 후 유해성 분석 엔진으로 전달된다. 유해성 분석 엔진은 추출 프레임별 유해성 분석 결과를 유해성 변화 판단 모듈로 전달하여 재생 중인 동영상의 유해성 변화를 판단한다. 유해성 판단 결과는 유해성 분석에 필요한 단말 자원의 변화와 함께 프레임 추출 방식을 조정하기 위해 사용된다. 프레임 추출 방식 조절을 위한 기준이 되는 단말 자원 특성은 단말의 잔여 배터리이다. 잔여 배터리의 상태는 단말의 스펙에 따라 충분하다고 판단되는 상태(40%), 절전 모드의 기준이 되는 상태(20%)와 초절전 모드의 기준이 되는 상태(10%)로 나뉜다. 단말의 잔여 배터리가 40% 이상일 경우 유해성 변화와 프레임 간의 유사도 비교 기반의 적응적 프레임 추출 알고리즘을 적용한다. 단말의 잔여 배터리 상태가 절전 모드 돌입을 준비해야 하는 경우일 때에는 유해 동영상 차단 과정에서 CPU 부하에 주는 영향이 적은 이미지 resizing 크기와 SSIM 임계값을 제어함으로써 배터리의 빠른 소모에 대비한다. 단말의 잔여 배터리가 절전 모드 상태이거나 초절전 모드 상태일 경우에는 프레임 추출 간격 제어와 유사도 비교를 추가로 적용하여 단말의 부하를 감소시킨다.
이와 관련된 선행기술1로써, 특허등록번호 10-06877320000에서는 "내용 기반 멀티 모달 특징값을 이용한 유해 동영상 차단방법 및 그 장치"가 등록되어 있다.
내용 기반 멀티 모달 특징값을 이용한 유해 동영상 차단 방법 및 그 장치는 유해 동영상 분류 모델과 비유해 동영상 분류 모델로 이루어지는 판별모델을 구축하는 단계; 동영상 컨텐츠에서 비디오 스트림과 오디오 스트림으로 분리하는 단계; 상기 분리된 비디오 스트림에 대하여 소정의 비주얼 특징값을 추출하여 샷(shot) 경계를 검출한 후 각 샷에서 적어도 하나 이상의 키 프레임을 추출하고 상기 샷과 키 프레임정보를 생성하는 단계; 상기 비디오 스트림에 대하여 소정의 선처리를 수행한 후 상기 샷과 키 프레임 정보를 기초로 상기 키 프레임의 멀티 모달 특징값을 추출하는 단계; 상기 멀티 모달 특징값을 상기 판별모델에 입력하여 샷의 유해성을 판단하는 단계; 및 상기 샷 기준의 판단 결과를 종합하여 상기 동영상 컨텐츠의 유해성을 판단하는 단계를 포함하며,
키프레임 기반 판단 엔진과 프레임 기반 판단 엔진을 이용한 점진적 차단 방법을 이용하고, 멀티모달(multi-modal) 특징값들을 이용함으로써, 인터넷을 통한 유해 동영상 차단, P2P를 통한 유해 동영상 유통 제어, 디지털 방송 스트림의 실시간 유해 정보 감시 시스템에 적용될 수 있다.
이와 관련된 선행기술2로써, 특허등록번호 10-09071720000에서는 "동영상 유통 환경에서 유해 동영상의 다단계 차단 시스템 및 방법"이 등록되어 있다.
유해 동영상의 다단계 차단 시스템은
동영상 컨텐츠에서 추출된 이미지를 병합하여 요약 이미지를 생성하고, 상기 요약 이미지를 분석하여 유해 동영상을 검출하는 필터링 관리자; 및
상기 동영상 컨텐츠를 시청하는 소비자의 반응 정보를 분석하여 유해 동영상을 검출하고, 유해 동영상에 해당하는 상기 동영상 컨텐츠의 정보를 상기 필터링 관리자에 전송하는 평가 분석 서버를 포함한다.
유해 동영상의 다단계 차단 시스템 및 방법을 사용하여, 동영상의 제작, 유통 및 소비 과정 전반에 걸쳐 유해 동영상을 효율적으로 차단할 수 있으며, 피드백을 통하여 앞 단계에서 검출되지 않은 유해 동영상을 검출하는 것이 가능하다. 또한, 동영상의 내용에 기반한 필터링 방법을 사용하므로 UCC 등의 동영상에 있어서도 효율적으로 유해 동영상을 차단할 수 있다.
이와 관련된 선행기술3으로써, 특허등록번호 10-21690730000에서는 "동영상 유해성 분석 결과 기반 실시간 스트리밍 차단 시스템 및 방법"이 등록되어 있다.
도 1은 종래의 동영상 유해성 분석 결과 기반의 실시간 스트리밍 차단 시스템의 구조를 나타낸 도면이다.
동영상 유해성 분석 결과 기반 실시간 스트리밍 차단 시스템은
HTTP 적응적 스트리밍을 위해 동영상 데이터를 고정된 재생 길이와 서로 다른 품질(bitrate)을 가지는 세그먼트의 형태로 인코딩하여 서버에 저장되며, 실시간 스트리밍 동영상 데이터를 제공하는 동영상 서버; 및
HTTP 적응적 스트리밍 클라이언트가 설치되며, 딥러닝 기반의 유해성 분석 엔진을 사용하여 동영상 프레임 간 유사도를 유해 원본 이미지와 비교하여 각 프레임의 장면의 길이 정보와 프레임별 유해 확률을 계산하여 최종 유해 등급에 따라 스트리밍 차단을 결정하여 유해한 동영상을 차단하는 사용자 단말을 포함하며,
상기 사용자 단말은 상기 HTTP 적응적 스트리밍 클라이언트가 설치되며, 상기 동영상 서버로부터 요청할 동영상에 대한 정보를 기술하는 MPD(Media Presentation Description) 파일을 다운로드하며, 측정한 네트워크 대역폭 및 단말의 상태에 따라 특정 품질(bitrate)의 동영상 세그먼트를 요청하고,
상기 딥러닝 기반의 유해성 분석 엔진은 CNN(Convolutional Neural Network) 모델을 사용하며, 동영상 세그먼트의 주어진 데이터 세트에 대하여 입력 이미지들의 특성을 학습하여 동영상 프레임 간 유사도를 유해 원본 이미지와 비교하여 각 프레임의 장면의 길이 정보와 프레임별 유해 확률을 계산하고, 동영상의 유해성을 분석하여 각각의 동영상 프레임에 대한 유해 확률의 형태로 동영상 유해성 분석 결과를 동영상 스트리밍 차단 제어 모듈로 제공한다.
상기 사용자 단말은
스트리밍되는 동영상 세그먼트로부터 동영상 프레임을 추출하고, 각 동영상 프레임들의 입력 이미지들의 특성을 학습하여 유해 원본 이미지와 비교 이미지를 비교하여 즉, 동영상 프레임 간 유사도를 상기 유해 원본 이미지와 비교하여 각 프레임의 장면의 길이 정보와 프레임별 유해 확률을 계산하고, 동영상의 유해성을 분석하여 각각의 동영상 프레임에 대한 유해성 분석 결과를 제공하는 딥러닝 기반의 유해성 분석 엔진;
동영상 유해성 분석의 효율성을 높이기 위해 중복된 동영상 프레임을 제외하고 동영상 프레임을 추출하는 동영상 프레임 추출 모듈; 및
상기 유해성 분석 결과와 장면 길이 정보를 이용하여 최종 유해 등급을 산출하고, 최종 유해 등급으로 판단된 유해 동영상의 스트리밍을 차단하는 동영상 스트리밍 차단 제어 모듈을 포함한다.
상기 딥러닝 기반의 유해성 분석 엔진은 상기 동영상 프레임 간 유사도 비교 기반의 장면 길이 분석을 위해 SSIM (Structural Similarity; 구조적 유사도 지수) 값을 계산하여 학습된 유해 장면이 포함된 원본 이미지와 프레임의 비교 이미지의 유사도를 비교한다.
상기 SSIM 값은 두 이미지의 픽셀들에 대한 평균 밝기 I(x,y), 이미지의 콘트라스트 값 c(x,y), 그리고 이미지 구조 지수 s(x,y)를 종합하여 다음과 같이 계산되며, 이때 사용되는 가중치 a, b, c의 값은 모두 1로 설정되며, 원본 이미지와 비교 이미지의 유사도를 비교하는 것으로, 가중치가 모두 1로 설정되었기 때문에 SSIM 계산에 있어서, 계산된 SSIM 값을 특정 임계값과 비교하여 유사 여부를 판단한다.
상기 딥러닝 기반의 유해성 분석 엔진은 상기 동영상 세그먼트에서 추출된 각 동영상 프레임들에 대하여 장면 단위로 분류하고, 각 동영상 프레임에 대한 유해성 분석 결과와 장면 길이 정보를 이용하여 각 장면에 대한 유해 등급 및 스트리밍 차단을 결정하기 위한 최종 유해 등급을 산출하며,
상기 유해성 분석 엔진의 입력으로 사용된 동영상 프레임에 대한 유해성 분석 결과는 프레임별 유해 확률로 표현된다.
그러나,
상기 문제점을 해결하기 위한 본 발명의 목적은 사용중인 단말의 자원(배터리의 상태)을 고려하여 적응적으로 프레임을 추출을 수행하고 유해 동영상을 모자이크 처리하며, 구체적으로는 사용자 단말의 잔여 배터리 상태를 분류하고 그 상태에 따라 적응적으로 프레임 추출 알고리즘을 결정하고, 제안하는 시스템은 동영상을 재생 중인 단말의 상태에 적합한 프레임 추출 및 유해성 변화 판단을 통해 사용자 단말의 배터리 소모를 최소화하고 유해 동영상을 차단하는, 모바일 단말에서 유해 동영상을 차단하기 위해 사용중인 단말의 자원을 고려하여 적응적으로 프레임 추출을 수행하는, 모바일 단말에서 유해 동영상 차단을 위한 단말 자원 기반의 적응적 프레임 추출 및 스트리밍 제어 시스템을 제공한다.
본 발명의 목적을 달성하기 위해, 모바일 단말에서 유해 동영상 차단을 위한 단말 자원 기반의 적응적 프레임 추출 및 스트리밍 제어 시스템은 서버; 적응적 프레임 추출 모듈과, 유해 동영상 차단에 필요한 단말 자원은 단말의 처리 능력과 관련된 요소와 유해 동영상에 대한 대응 결과의 경우 추출된 프레임의 개수와 유해성 분석에 소요된 시간이 존재하며, 딥러닝 기반의 유해성 분석 엔진과, 유해 동영상의 경우 모자이크 처리하는 스트리밍 제어 모듈을 구비하는 사용자 단말을 포함하고, 상기 서버로부터 수신한 동영상 세그먼트의 프레임은 실시간으로 추출된 후 상기 유해성 분석 엔진으로 전달되고, 상기 유해성 분석 엔진은 추출 프레임별 유해성 분석 결과를 유해성 변화 판단 모듈로 전달하여 재생 중인 동영상의 유해성 변화를 판단하며, 유해성 판단 결과는 유해성 분석에 필요한 단말 자원의 변화와 함께 프레임 추출 방식을 조정하기 위해 사용되고, 프레임 추출 방식 조절을 위한 기준이 되는 단말 자원 특성은 사용자 단말의 잔여 배터리의 상태이며, 상기 사용자 단말의 잔여 배터리의 상태는 단말의 스펙에 따라 충분하다고 판단되는 상태(40%), 절전 모드의 기준이 되는 상태(20%)와 초절전 모드의 기준이 되는 상태(10%)로 나뉘고, 모바일 단말에서 유해 동영상 차단을 위한 단말 자원 기반의 적응적 프레임 추출 및 동영상 세그먼트의 비트율(bit rate)을 적응적으로 결정하는 HTTP 적응적 스트리밍 기반으로 동작한다.
또한, 본 발명의 다른 목적을 달성하기 위해 모바일 단말에서 유해 동영상 차단을 위한 단말 자원 기반의 적응적 프레임 추출 및 스트리밍 제어 방법은
서버; 적응적 프레임 추출 모듈과, 유해 동영상 차단에 필요한 단말 자원은 단말의 처리 능력과 관련된 요소와 유해 동영상에 대한 대응 결과의 경우 추출된 프레임의 개수와 유해성 분석에 소요된 시간이 존재하며, 딥러닝 기반의 유해성 분석 엔진과 유해동영상의 경우 모자이크 처리하는 스트리밍 제어 모듈을 구비하는 사용자 단말을 포함하는 단말 자원(배터리의 상태) 기반의 적응적 프레임 추출 및 스트리밍 제어 시스템에서,
상기 서버로부터 수신한 동영상 세그먼트의 프레임은 실시간으로 추출된 후 상기 유해성 분석 엔진으로 전달되고, 상기 유해성 분석 엔진은 추출 프레임별 유해성 분석 결과를 유해성 변화 판단 모듈로 전달하여 재생 중인 동영상의 유해성 변화를 판단하며, 유해성 판단 결과는 유해성 분석에 필요한 단말 자원의 변화와 함께 프레임 추출 방식을 조정하기 위해 사용되고, 프레임 추출 방식 조절을 위한 기준이 되는 단말 자원 특성은 사용자 단말의 잔여 배터리의 상태이며,
상기 사용자 단말의 잔여 배터리의 상태는 단말의 스펙에 따라 충분하다고 판단되는 상태(40%), 절전 모드의 기준이 되는 상태(20%)와 초절전 모드의 기준이 되는 상태(10%)로 나뉘고, 모바일 단말에서 유해 동영상 차단을 위한 단말 자원 기반의 적응적 프레임 추출 및 동영상 세그먼트의 비트율(bit rate)을 적응적으로 결정하는 HTTP 적응적 스트리밍 기반으로 동작하는 단계를 포함한다.
본 발명의 모바일 단말에서 유해 동영상 차단을 위한 단말 자원 기반의 적응적 프레임 추출 및 스트리밍 제어 시스템은 단말의 잔여 배터리 상태를 분류하고 그 상태에 따라 적응적으로 프레임 추출 알고리즘을 결정하고, 제안하는 시스템은 동영상을 재생 중인 단말의 상태에 적합한 프레임 추출 및 유해성 변화 판단을 통해 단말의 배터리 소모를 최소화하고 유해 동영상을 차단하는 효과가 있다.
배터리 상태가 충분할 경우 유해성 변화 판단의 성능을 우선으로 하는 알고리즘을 적용한다. 그러나, 배터리 소모 속도가 증가하여 단말이 절전 모드 돌입에 준비해야 할 경우, 이미지 resizing 크기를 줄여 유사도 비교를 위해 필요한 CPU 부하를 감소시키고 SSIM 임계값을 작게 조절함으로써 유해성 분석 엔진에 의한 부하를 감소시킨다. 단말이 절전 모드에 돌입했을 경우, 프레임 추출 간격을 기존의 두 배로 늘려서 적용함으로써 유해성 분석에 의한 부하를 줄이며 단말이 초절전 모드에 돌입했을 경우 프레임 추출 간격을 기존의 3배로 늘리고 유사도 비교를 모든 유해성 변화 구간에 적용하여 유해성 분석에 의한 부하를 최소화한다. 본 발명에서 제안하는 시스템에서 사용되는 여러 임계값과 배터리 상태의 기준의 경우 스트리밍 서비스를 제공하는 서비스 사업자의 기호에 따라 값을 다르게 설정할 수 있다. 또한, 제안하는 시스템에서 스트리밍 제어 방식으로 사용하는 모자이크 처리 외에 스트리밍 세션 차단, 동영상 품질 저하, 유해 동영상 안내 문구 출력과 같은 다양한 방식을 적용할 수 있다.
도 1은 종래의 동영상 유해성 분석 결과 기반의 실시간 스트리밍 차단 시스템의 구조를 나타낸 도면이다.
도 2는 본 발명에 따른 단말 자원 특성 기반의 적응적 프레임 추출 기술에 대한 전체 플로우차트이다.
도 3은 사용자 단말의 배터리가 충분할 경우의 유해성 변화 기반의 적응적 프레임 추출 및 스트리밍 제어 과정을 나타낸 도면이다.
도 4는 추출 프레임별 유해성 분석 결과 기반 동영상 유해성 변화 판단.
도 5는 사용자 단말의 배터리가 충분할 경우 동영상 유해 단계별 프레임 추출 간격 및 유사도 비교 결정.
도 6은 동영상 프레임 간 유사도 비교 예시.
도 7은 이미지 정보 평균화 방식의 모자이크 처리 예시.
도 8은 사용자 단말의 배터리 상태가 절전 모드 돌입을 준비해야 하는 경우의 유해 단계별 프레임 추출 간격 및 유사도 비교 결정.
도 9는 사용자 단말의 배터리 상태가 절전 모드(20%)일 경우의 유해 단계별 프레임 추출 간격 및 유사도 비교 결정.
도 10은 사용자 단말의 배터리 상태가 초절전 모드(10%)일 경우의 유해 단계별 프레임 추출 간격 및 유사도 비교 결정.
도 2는 본 발명에 따른 단말 자원 특성 기반의 적응적 프레임 추출 기술에 대한 전체 플로우차트이다.
도 3은 사용자 단말의 배터리가 충분할 경우의 유해성 변화 기반의 적응적 프레임 추출 및 스트리밍 제어 과정을 나타낸 도면이다.
도 4는 추출 프레임별 유해성 분석 결과 기반 동영상 유해성 변화 판단.
도 5는 사용자 단말의 배터리가 충분할 경우 동영상 유해 단계별 프레임 추출 간격 및 유사도 비교 결정.
도 6은 동영상 프레임 간 유사도 비교 예시.
도 7은 이미지 정보 평균화 방식의 모자이크 처리 예시.
도 8은 사용자 단말의 배터리 상태가 절전 모드 돌입을 준비해야 하는 경우의 유해 단계별 프레임 추출 간격 및 유사도 비교 결정.
도 9는 사용자 단말의 배터리 상태가 절전 모드(20%)일 경우의 유해 단계별 프레임 추출 간격 및 유사도 비교 결정.
도 10은 사용자 단말의 배터리 상태가 초절전 모드(10%)일 경우의 유해 단계별 프레임 추출 간격 및 유사도 비교 결정.
이하, 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 발명의 구성 및 동작을 상세하게 설명한다. 본 발명의 설명에 있어서 관련된 공지의 기술 또는 공지의 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 자세한 설명을 생략한다. 또한, 도면 번호는 동일한 구성을 표기할 때에 다른 도면에서 동일한 도면번호를 부여한다.
본 발명은 모바일 단말에서 유해 동영상 차단을 위한 단말 자원 기반의 적응적 프레임 추출 및 스트리밍 제어 시스템을 제공한다.
유해 동영상 차단에 필요한 단말 자원은 단말의 처리 능력과 관련된 요소( CPU 점유율, 배터리 소모량)와 유해 동영상에 대한 대응 결과로 구분된다. 사용자 단말의 처리 능력과 관련된 요소는 CPU 점유율과 배터리 소모량이 있으며, 유해 동영상에 대한 대응 결과의 경우 추출된 프레임의 개수와 유해성 분석에 소요된 시간이 있다. 사용자 단말은 딥러닝 기반의 유해성 분석 엔진이 존재한다. 서버로부터 수신한 동영상 세그먼트의 프레임은 실시간으로 추출된 후 유해성 분석 엔진으로 전달된다. 유해성 분석 엔진은 추출 프레임별 유해성 분석 결과를 유해성 변화 판단 모듈로 전달하여 재생 중인 동영상의 유해성 변화를 판단한다. 유해성 판단 결과는 유해성 분석에 필요한 단말 자원의 변화와 함께 프레임 추출 방식을 조정하기 위해 사용된다. 프레임 추출 방식 조절을 위한 기준이 되는 단말 자원 특성은 사용자의 단말의 잔여 배터리이다. 잔여 배터리의 상태는 단말의 스펙에 따라 충분하다고 판단되는 상태(40%), 절전 모드의 기준이 되는 상태(20%)와 초절전 모드의 기준이 되는 상태(10%)로 나뉜다. 단말의 잔여 배터리가 40% 이상일 경우 유해성 변화와 프레임 간의 유사도 비교 기반의 적응적 프레임 추출 알고리즘을 적용한다. 사용자 단말의 잔여 배터리 상태가 절전 모드 돌입을 준비해야 하는 경우일 때에는 유해 동영상 차단 과정에서 CPU 부하에 주는 영향이 적은 이미지 resizing 크기와 SSIM 임계값을 제어함으로써 배터리의 빠른 소모에 대비한다. 단말의 잔여 배터리가 절전 모드 상태이거나 또는 초절전 모드 상태일 경우 프레임 추출 간격 제어와 유사도 비교를 추가로 적용하여 단말의 부하를 감소시킨다.
모바일 단말에서 유해 동영상 차단을 위한 단말 자원 기반의 적응적 프레임 추출 및 스트리밍 제어 시스템은 HTTP(Hyper Text Transfer Protocol) 적응적 스트리밍을 기반으로 동작한다. HTTP 적응적 스트리밍은 인터넷을 통해 동영상을 스트리밍할 때 사용자의 체감 품질(Quality of Experience, QoE)을 보장하기 위한 기술로써, 현재 네트워크 상태에 따라 요청할 동영상 세그먼트의 비트율(bit rate)을 적응적으로 결정하기 때문에 끊김 없는 스트리밍 서비스를 제공할 수 있다. 또한, HTTP 적응적 스트리밍은 HTTP를 기반으로 동작하기 때문에 방화벽 문제가 발생하지 않으며 기존의 웹 서버를 활용할 수 있는 장점이 있다. HTTP 적응적 스트리밍에서 서버는 동영상을 고정된 재생 길이와 서로 다른 비트율을 가지는 세그먼트들로 인코딩하여 저장한다. 동영상 세그먼트에 대한 정보는 MPD(Media Presentation Description) 파일로 저장되어 스트리밍 시작 후 클라이언트로 전달된다. 클라이언트는 수신한 MPD 파일의 동영상 세그먼트 관련 정보와 측정한 네트워크 상태를 사용하여 다음에 요청할 동영상 세그먼트의 비트율을 결정한다.
MPD 파일은 서버가 동여상 스트리밍할때, 동영상 세그먼트의 정보(720P, 240P 화질의 duration), 동영상 세그먼트의 품질(bit rate), 서버 URL 정보를 포함한다.
모바일 단말에서 유해 동영상 차단을 위한 단말 자원 기반의 적응적 프레임 추출 및 스트리밍 제어 시스템에서 추출된 프레임에 대한 유해성 분석을 수행하는 딥러닝 기반의 유해성 분석 엔진은 CNN(Convolutional Neural Network) 모델로 구성된다. CNN 모델은 입력 이미지에 대한 특성을 이용한 학습에 특화되어 있기 때문에 유해한 이미지와 유해하지 않은 이미지를 구분하는 작업에 적합하다. 사용자 단말에서 추출된 프레임이 유해성 분석 엔진으로 전달될 경우, 유해성 분석 엔진은 분석 결과로 해당 프레임의 유해 여부와 유해성 분석에 소요된 시간을 출력한다. 본 발명은 유해성 변화가 존재하는 스트리밍 동영상에 대해 단말 자원 특성을 반영하여 실시간으로 대응하기 위한 적응적 프레임 추출 및 스트리밍 제어 메커니즘에 관한 것으로 유해성 분석 엔진이 입력 이미지의 유해 여부를 판단하는 구체적인 메커니즘에 대해서는 기술하지 않는다. 또한, 유해 동영상은 미성년자에게 부적합한 음란성을 가진 동영상을 의미한다.
CNN 기반의 모델은 이미지를 입력으로 받은 후 그 이미지의 특징을 추출하여 이미지의 장면을 분류하거나 특징을 추출한다. 유해성 분석 엔진은 CNN 기반의 모델을 유해한 이미지와 무해한 이미지로 분류된 데이터 세트를 사용하여 학습시킨 유해 이미지 분류 엔진이다. 학습에 사용되는 이미지 세트는 사전에 각 이미지가 유해한 이미지인지 무해한 이미지인지 라벨링 되어있다. 유해성 분석 엔진은 임의의 이미지가 입력되었을 때 그 이미지의 장면 정보를 추출하여 학습된 모델을 통해 해당 이미지가 유해한 이미지인지 무해한 이미지인지 분류한다. 이미지의 장면 정보는 픽셀 RGB 값의 분포, 장면 내 움직임 검출 결과, 그리고 HSV (Hue, Saturation, Value) 값과 같은 것들을 의미한다.
따라서, 유해성 분석 엔진에 전달되는 프레임은 유해성을 판단하고자 하는 장면의 대표 프레임이 되어야 한다. 장면의 대표 프레임을 추출하기 위해 본 발명에서는 유사도 비교를 통해 중복되지 않는 프레임을 기준으로 장면을 나누고, 프레임을 추출하였다. 유사도 비교 연산과 같은 경우는 유해성 분석 엔진 내부에서 수행되는 작업이 아니고 프레임 추출 알고리즘상에서 수행되는 작업이다. 본 발명에서 유사도 비교 연산은 추출된 프레임을 Mat 형태로 변환한 후에 기술되어 있는 수식을 기반으로 계산된다.
도 2는 본 발명에 따른 모바일 단말에서의 유해 동영상 차단을 위한 단말 자원 기반의 적응적 프레임 추출 및 스트리밍 제어 시스템의 전체 플로우차트를 나타낸다. 재생 중인 동영상의 유해성을 실시간으로 분석하기 위해 필요한 단말 자원(잔여 배터리, CPU 부하)은 유해성 분석의 부하에 영향을 끼친다. 제안하는 시스템은 동영상을 재생 중인 단말의 잔여 배터리를 기준으로 단말 자원의 부하에 영향을 주는 컨텍스트들(contexts)을 조절함으로써 유해성 분석에 활용되는 단말의 처리 능력을 고려한 프레임 추출 기술을 수행한다. 사용자 단말의 잔여 배터리 상태는 배터리가 충분할 경우(40% 이상일 경우), 배터리 소모 속도를 줄여 절전 모드 돌입을 준비해야 하는 경우(40~20% 일 경우), 절전 모드에 돌입했을 경우(20~10% 일 경우)와 초절전 모드에 돌입했을 경우(10~0%)로 분류된다. 각 배터리 상태에 따른 알고리즘의 변화는 구체적으로 서술한다. 사용자 단말의 배터리의 상태를 판단하는 기준은 단말의 스펙에 따라 서비스 제공자가 선택 가능한 값이며 본 발명에서는 40%, 20% 그리고 10%를 그 기준으로 설정하였다.
도 3은 모바일 단말에서 유해 동영상 차단을 위한 단말 자원 기반의 적응적 프레임 추출 및 스트리밍 제어 시스템에서 사용자 단말의 잔여 배터리가 충분한 상태일 경우의 유해성 분석 및 스트리밍 제어 과정을 나타낸다.
서버로부터 동영상 스트림이 전송되면, 제안 시스템은 사용자 단말의 잔여 배터리가 충분한 상태일 경우 HTTP 기반 적응적 프레임 추출 알고리즘에 따라 동영상 프레임을 추출한다. 추출된 프레임은 딥러닝 기반의 유해성 분석 엔진(100)으로 전달된다. 유해성 분석 엔진(100)은 입력된 동영상 프레임에 대한 유해성 분석을 통해 프레임별 유해 확률의 형태로 유해성 분석 결과를 동영상 스트리밍 차단 제어 모듈(120)과 적응적 프레임 추출 모듈(110)로 전달한다.
적응적 프레임 추출 모듈(110)은 유해성 분석 결과에 따라 동영상의 유해성 변화를 판단하고, 유해성 변화에 따라 프레임 추출 간격 및 유사도 비교를 결정한다. 제안하는 시스템은 중복된 프레임의 추출을 방지하여 부하를 최소화하기 위해 동영상이 유해하다고 판단되기 전까지 고정 간격과 유사도 비교를 적용하여 프레임을 추출한다. 프레임 간 유사도 비교를 통한 추출은 SSIM 값을 계산하여 사전에 설정된 임계를 초과할 경우 유사한 프레임으로 판단하여 추출 대상에서 제외하며 임계보다 낮은 값이 나올 경우 서로 다른 장면의 프레임으로 판단하여 추출 대상에 포함한다.
본 발명의 모바일 단말에서 유해 동영상 차단을 위한 단말 자원 기반의 적응적 프레임 추출 및 스트리밍 제어 시스템은 서버; 적응적 프레임 추출 모듈과, 유해 동영상 차단에 필요한 단말 자원은 단말의 처리 능력과 관련된 요소와 유해 동영상에 대한 대응 결과의 경우 추출된 프레임의 개수와 유해성 분석에 소요된 시간이 존재하며, 딥러닝 기반의 유해성 분석 엔진과, 유해 동영상의 경우 모자이크 처리하는 스트리밍 제어 모듈을 구비하는 사용자 단말을 포함하고, 상기 서버로부터 수신한 동영상 세그먼트의 프레임은 실시간으로 추출된 후 상기 유해성 분석 엔진으로 전달되고, 상기 유해성 분석 엔진은 추출 프레임별 유해성 분석 결과를 유해성 변화 판단 모듈로 전달하여 재생 중인 동영상의 유해성 변화를 판단하며, 유해성 판단 결과는 유해성 분석에 필요한 단말 자원의 변화와 함께 프레임 추출 방식을 조정하기 위해 사용되고, 프레임 추출 방식 조절을 위한 기준이 되는 단말 자원 특성은 사용자 단말의 잔여 배터리의 상태이며, 상기 사용자 단말의 잔여 배터리의 상태는 단말의 스펙에 따라 충분하다고 판단되는 상태(40%), 절전 모드의 기준이 되는 상태(20%)와 초절전 모드의 기준이 되는 상태(10%)로 나뉘고, 모바일 단말에서 유해 동영상 차단을 위한 단말 자원 기반의 적응적 프레임 추출 및 동영상 세그먼트의 비트율(bit rate)을 적응적으로 결정하는 HTTP 적응적 스트리밍 기반으로 동작한다.
또한, 본 발명의 모바일 단말에서 유해 동영상 차단을 위한 단말 자원 기반의 적응적 프레임 추출 및 스트리밍 제어 방법은
서버; 적응적 프레임 추출 모듈과, 유해 동영상 차단에 필요한 단말 자원은 단말의 처리 능력과 관련된 요소와 유해 동영상에 대한 대응 결과의 경우 추출된 프레임의 개수와 유해성 분석에 소요된 시간이 존재하며, 딥러닝 기반의 유해성 분석 엔진과 유해동영상의 경우 모자이크 처리하는 스트리밍 제어 모듈을 구비하는 사용자 단말을 포함하는 단말 자원(배터리의 상태) 기반의 적응적 프레임 추출 및 스트리밍 제어 시스템에서,
상기 서버로부터 수신한 동영상 세그먼트의 프레임은 실시간으로 추출된 후 상기 유해성 분석 엔진으로 전달되고, 상기 유해성 분석 엔진은 추출 프레임별 유해성 분석 결과를 유해성 변화 판단 모듈로 전달하여 재생 중인 동영상의 유해성 변화를 판단하며, 유해성 판단 결과는 유해성 분석에 필요한 단말 자원의 변화와 함께 프레임 추출 방식을 조정하기 위해 사용되고, 프레임 추출 방식 조절을 위한 기준이 되는 단말 자원 특성은 사용자 단말의 잔여 배터리의 상태이며,
상기 사용자 단말의 잔여 배터리의 상태는 단말의 스펙에 따라 충분하다고 판단되는 상태(40%), 절전 모드의 기준이 되는 상태(20%)와 초절전 모드의 기준이 되는 상태(10%)로 나뉘고, 모바일 단말에서 유해 동영상 차단을 위한 단말 자원 기반의 적응적 프레임 추출 및 동영상 세그먼트의 비트율(bit rate)을 적응적으로 결정하는 HTTP 적응적 스트리밍 기반으로 동작하는 단계를 포함한다.
도 4는 사용자 단말의 잔여 배터리가 충분한 상태일 경우 추출 프레임별 유해성 분석 결과를 기반으로 스트리밍 동영상의 유해성 변화를 판단하는 과정을 나타낸다. 유해성 변화 판단은 동영상 세그먼트의 재생 길이마다 수행되며 세그먼트의 마지막 프레임의 유해성 분석 결과에 따라 다음 동영상 세그먼트에 대한 유해 여부를 예측한다. (a) 무해 → 유해는 무해 동영상 세그먼트의 마지막 프레임이 유해성 분석 결과 유해 프레임으로 판단되었을 경우로 다음 동영상 세그먼트를 유해 동영상 세그먼트로 예측하며 유해 동영상 스트리밍에 빠르게 대응하기 위해 해당 세그먼트 내에서 짧은 고정 간격으로 유사도 비교를 적용하지 않고 프레임을 추출한다. (b) 유해 → 유해는 유해 동영상 세그먼트의 마지막 프레임이 유해성 분석 결과 유해 프레임으로 판단되었을 경우로 프레임 추출에 의한 부하와 유해 동영상 스트리밍 실시간 대응 간의 균형을 위해 (a) 무해 → 유해 경우와 (c) 유해 → 무해 경우의 중간 간격으로 유사도 비교를 적용하지 않고 프레임을 추출한다. (c) 유해 → 무해는 유해 동영상 세그먼트의 마지막 프레임이 유해성 분석 결과 무해 프레임으로 판단되었을 경우로 불필요한 프레임 추출을 최소화하기 위해 해당 세그먼트 내에서 긴 고정 간격으로 유사도 비교를 적용하여 프레임을 추출한다.
도 5는 동영상 유해성 변화에 따른 프레임 추출 간격 및 유사도 비교 결정을 나타낸다. 프레임 추출 간격은 30 FPS 동영상을 기준으로 하며 유해 부분으로 스트리밍 동영상의 유해성이 변화하였을 경우 가장 짧은 간격과 강제 추출, 유해 부분이 유지되는 경우에는 중간 간격과 강제 추출, 그리고 무해 부분으로 스트리밍 동영상의 유해성이 변화하였을 경우에는 가장 긴 간격과 유사도 비교를 적용한다. 이 단계에서 사용하는 프레임 추출 간격은 다른 단계에서 사용하는 프레임 추출 간격의 기준으로 사용한다. 제안하는 기술에서는 사전에 반복 실험을 통해 유해성 분석 엔진의 부하를 과도하게 발생시키지 않고, 스트리밍 동영상의 유해성을 적절하게 판단하기 위한 최소 프레임 개수를 후보 간격으로 설정하였다.
도 6은 본 시스템에서 제시한 동영상 프레임 간 유사도 비교 기반의 프레임 추출을 위해 SSIM (Structural Similarity; 구조적 유사도 지수) 값을 계산하여 프레임 간 유사도 비교를 수행하는 예시를 나타낸다. SSIM은 주로 2D 이미지에 대한 지각 품질 평가에서 사용되는 대표적인 메트릭으로, 사람의 시각 시스템은 이미지로부터 구조 관련 정보를 도출하는데 특화되어 있기 때문에 이미지 구조의 왜곡 정도가 지각 품질에 가장 큰 영향을 미친다는 가정에 근거하여 계산되는 메트릭이다. 따라서, SSIM 값은 유사도 비교 대상이 되는 두 이미지의 각 픽셀에 대한 밝기 정보와 왜곡 정보를 이용하여 계산된다. 본 발명에서 제안하는 동영상 스트림 특성 기반의 스트리밍 제어 시스템은 SSIM 값을 기반으로 추출된 동영상 프레임 간의 유사도를 비교한다. 도 5에 나타난 것처럼 추출된 동영상 프레임 중 10번째 프레임과 11번째 프레임에 대한 SSIM 값은 0.4795로 작은 값을 가진다. SSIM 값이 작을 경우 제안하는 동영상 스트림 특성 기반의 스트리밍 제어 시스템은 해당 프레임들이 서로 다른 장면에 포함된다고 판단한다. 반면 11번째 동영상 프레임과 12번째 동영상 프레임에 대한 SSIM 값은 0.8258로 큰 값을 가지기 때문에 이 경우 해당 프레임들이 같은 장면에 포함된다고 판단한다. 도 5의 예시는 유사도 비교 기반의 동영상 프레임 추출이 어떤 방식으로 동작하는지 보여주기 위한 예시로, 제안하는 동영상 스트림 특성 기반의 스트리밍 제어 시스템에서 동영상 세그먼트 내에 포함된 여러 장면을 구분하고 각 장면을 대표하는 프레임을 추출하는 메커니즘과는 차이가 존재한다. 본 발명에서 장면 변화의 기준은 인접한 동영상 프레임 간의 유사도를 비교할 때 SSIM 값이 크게 변하는 부분이 된다. 예를 들면, 도 4에서 첫 번째로 추출된 동영상 프레임이 포함된 장면의 경우 추출된 프레임과 유사한 프레임들이 모여 있는 장면으로 볼 수 있다. 반면 두 번째로 추출된 동영상 프레임이 포함된 장면의 경우 첫 번째로 추출된 동영상 프레임이 포함된 장면과 비교할 때 SSIM 값이 크게 변하는 프레임부터 시작되는 장면으로 볼 수 있다.
원본 이미지를 x, 비교 이미지를 y라고 할 때 SSIM 값을 계산하기 위해 우선 두 이미지의 픽셀들에 대한 평균 밝기 I(x,y)를 다음 수식과 같이 계산한다. 
는 원본 이미지 x의 평균 밝기, 
는 비교 이미지 y의 평균 밝기, 그리고 
은 이미지 밝기 상수를 의미한다. 해당 수식에 의해 계산되는 값은 원본 이미지와 비교 이미지의 평균 밝기를 종합하여 두 이미지의 평균 밝기를 나타낼 수 있도록 정규화된 값을 의미한다.
평균 밝기를 계산한 후에는 각 이미지의 표준편차 값을 이미지의 콘트라스트 값 
으로 정의하고, 두 이미지의 표준편차 값을 다음 수식과 같이 계산한다. 
는 원본 이미지 
의 밝기 표준편차, 
는 비교 이미지 
의 밝기 표준 편차, 그리고 
는 이미지 콘트라스트 상수를 의미한다. 두 이미지의 평균 밝기를 계산하는 수식과 마찬가지로, 해당 수식에 의해 계산되는 값은 원본 이미지와 비교 이미지의 밝기 표준편차를 종합하여 두 이미지의 콘트라스트를 나타낼 수 있도록 정규화된 값을 의미한다.
이미지 콘트라스트를 계산한 후에는 두 이미지 간의 밝기 공분산과 밝기 표준편차를 이용하여 이미지 구조 지수 
의 값을 다음 수식과 같이 계산한다. 밝기 공분산 
는 각 이미지의 밝기 정보가 서로 얼마나 연관성이 있는지를 나타내기 위한 값이며 
는 이미지 구조 상수를 의미한다. 해당 수식에 의해 계산되는 값은 두 이미지 각각의 밝기 표준편차 대비 두 이미지 사이의 연관된 밝기 표준 편차의 값의 상대적 비율을 의미한다.
이미지 구조 상수는 이미지 콘트라스트 상수를 이용하여 다음 수식과 같이 계산된다. 이미지 콘트라스트를 계산하는 과정이 이미지의 밝기 표준편차를 포함하기 때문에 이미지 구조 지수를 계산하는 과정과 연관성이 있으며, 다만 이미지 구조 지수 계산에는 밝기 공분산을 사용하기 때문에 상수항에 의한 편향을 줄이기 위해 해당 수식과 같이 이미지 구조 상수를 계산하게 된다.
최종적으로, SSIM 값은 두 이미지의 평균 밝기, 이미지의 콘트라스트 값, 그리고 이미지 구조 지수를 종합하여 다음 수식과 같이 계산된다. 이때 사용되는 가중치 a, b, c의 값은 모두 1로 설정된다. 해당 수식이 의미하는 바는 사람의 지각 품질에 영향을 주는 각 요소를 모두 반영하여 원본 이미지와 비교 이미지 간의 유사도를 비교하겠다는 것으로, 가중치가 모두 1로 설정되었기 때문에 SSIM 계산에 있어서 각 요소가 모두 같은 영향력을 가지게 된다.
도 7은 제안하는 단말 자원 특성 기반의 스트리밍 제어 시스템에서 사용되는 이미지 정보 평균화 방식의 모자이크 처리 예시를 나타낸다.
스트리밍 제어 모듈(120)은 유해성 분석 엔진(100)에서 유해 동영상이 검출되면 유해 동영상으로 판단되면 모자이크 처리를 하거나 스트리밍 차단을 실시할 수도 있다.
유해 동영상 스트리밍 실시간 대응을 위해 단말은 재생 중인 동영상 프레임 위에 임의의 레이어를 추가한 후 여러 개의 격자 셀로 프레임 내의 구역을 나눈다. 모자이크 처리는 격자 셀로 나누어진 프레임 내의 구역에 포함된 픽셀들의 이미지 정보를 평균화하는 방식으로 수행된다. 따라서, 격자 셀의 개수가 적을 경우 모자이크 처리 효과가 커지지만 이미지 정보에 대한 평균화 과정이 복잡해지기 때문에 처리 시간이 증가하며 격자 셀의 개수가 많을 경우 처리 시간은 감소하나 유해 동영상 노출을 효과적으로 줄일 수 있을 정도로 모자이크 처리 효과가 나타나지 않는다. 본 발명에서 제안하는 시스템이 사용하는 모자이크 처리 방식의 경우 재생 중인 동영상 프레임의 이미지 정보에 직접 접근하지 않고 임의의 레이어를 추가하는 방식으로 수행되기 때문에 추출된 동영상 프레임의 정보 손상 없이 유해성 분석이 가능한 장점이 있다.
도 8은 사용자 단말의 배터리 상태가 절전 모드(20%)로 돌입을 준비해야 하는 경우의 유해 단계별 프레임 추출 간격 및 유사도 비교 결정을 나타낸다. 사용자 단말의 배터리 소모량이 늘어 절전 모드로 돌입을 준비해야 하는 경우, 제안하는 시스템은 상대적으로 CPU 부하 변동폭이 적은 유사도 비교 과정에서 resizing 되는 이미지 크기와 유사도 비교의 기준이 되는 SSIM 임계값을 조절한다. 이미지 reszing 크기와 SSIM 임계값은 배터리가 충분할 경우에 각각 200 by 200과 0.8의 값을 사용하며 그렇지 않을 경우에는 100 by 100과 0.7의 값을 사용한다. 이미지 resizing 크기의 감소는 유사도 비교에 필요한 CPU의 부하 정도를 감소시킬 수 있고 SSIM 임계값의 감소는 추출되는 프레임의 개수를 감소시켜 유해성 분석에 의한 부하를 줄일 수 있다.
도 9는 절전 모드일 경우의 유해 단계별 프레임 추출 간격 및 유사도 비교 결정을 나타낸다. 사용자 단말의 배터리 상태가 절전 모드(20%)에 돌입했을 경우, 제안하는 시스템은 이전 단계에서 조절한 이미지 resizing 크기와 SSIM 임계값을 유지한다. 그리고 프레임 추출 간격을 기준 프레임 추출 간격의 2배로 늘려 유해성 분석 엔진이 동작되는 횟수를 감소시킴으로써 단말 자원에 대한 부하를 감소시킬 수 있다.
도 10은 사용자 단말의 배터리 상태가 초절전 모드(10%)일 경우의 유해 단계별 프레임 추출 간격 및 유사도 비교 결정을 나타낸다. 사용자 단말이 초절전 모드에 돌입했을 경우, 제안하는 시스템은 이미지 resizing 크기와 SSIM 임계값을 이전 단계의 값으로 유지한다. 그리고 프레임 추출 간격을 기준 프레임 추출 간격의 3배로 늘리며 모든 유해성 구간에서 유사도 비교를 일괄적으로 적용하여 프레임 추출을 최소화한다. 이를 통해 유해성 분석 엔진이 동작되는 횟수가 최소화되어 단말 자원에 대한 부하를 최소화할 수 있다. 기준 프레임 추출 간격을 늘리는 배율은 서비스 제공자가 환경에 따라 설정 가능한 상수로써 제안하는 시스템에서는 각각 2와 3으로 설정하였다.
본 발명에서 제안하는 모바일 단말에서의 유해 동영상 차단을 위한 단말 자원 기반의 적응적 프레임 추출 및 스트리밍 제어 시스템은 단말의 잔여 배터리 상태를 분류하고 그 상태에 따라 적응적으로 프레임 추출 알고리즘을 결정한다. 제안하는 시스템은 동영상을 재생 중인 단말의 상태에 적합한 프레임 추출 및 유해성 변화 판단을 통해 단말의 배터리 소모를 최소화하고 유해 동영상을 차단하는 것을 목표로 한다. 배터리 상태가 충분할 경우 유해성 변화 판단의 성능을 우선으로 하는 알고리즘을 적용한다. 그러나 사용자 단말의 배터리 소모 속도가 증가하여 단말이 절전 모드(20%)에 돌입에 준비해야 할 경우, 이미지 resizing 크기를 줄여 유사도 비교를 위해 필요한 CPU 부하를 감소시키고 SSIM 임계값을 작게 조절함으로써 유해성 분석 엔진에 의한 부하를 감소시킨다. 사용자 단말의 배터리 상태가 절전 모드(20%)에 돌입했을 경우, 프레임 추출 간격을 기존의 두 배로 늘려 적용함으로써 유해성 분석에 의한 부하를 줄이며 단말이 초절전 모드에 돌입했을 경우 프레임 추출 간격을 기존의 세 배로 늘리고 유사도 비교를 모든 유해성 변화 구간에 적용하여 유해성 분석에 의한 부하를 최소화한다.
참고로, CNN (Convolutional Neural Network) 기반의 모델은 이미지를 입력으로 받은 후 그 이미지의 특징을 추출하여 이미지의 장면을 분류하거나 특징을 추출한다. CNN은 이미지 처리 분야에서 사용하던 필터링 기법에 인공신경망을 적용하여 이미지를 더 효과적으로 처리하기 위해 고안된 모델이다. 입력으로 들어오는 이미지 데이터는 높이, 너비, 채널로 구성된 3차원 텐서(tensor) 구조로 표현된다. 텐서 구조로 들어오는 이미지의 특징 (feature)을 추출하고 그 이미지의 특징을 특정한 값으로 라벨링 한 뒤 학습을 진행시켜 다양한 이미지들을 구분할 수 있다. 추출되는 이미지의 특징은 이미지의 경계선, 색상의 분포 그리고 왜곡 정도와 같은 것들이 있고 이런 다양한 특징들을 feature map으로 만들어 학습 후 입력으로 들어오는 이미지의 feature와 비교한다. Feature map을 만들기 위해 사용된 CNN의 구조는 아래에서 구체적으로 서술한다. 유해성 분석 엔진은 CNN 기반의 모델을 유해한 이미지와 무해한 이미지로 분류된 데이터 세트를 사용하여 학습시킨 유해 이미지 분류 엔진이다. 학습에 사용되는 이미지 세트는 사전에 각 이미지가 유해한 이미지인지 무해한 이미지인지 라벨링 되어있다. 유해성 분석 엔진은 임의의 이미지가 입력되었을 때 그 이미지의 장면 정보를 추출하여 학습된 모델을 통해 해당 이미지가 유해한 이미지인지 무해한 이미지인지 분류한다. 이미지의 장면 정보는 픽셀 RGB 값의 분포, 장면 내 움직임 검출 결과, 그리고 HSV (Hue, Saturation, Value) 값과 같은 것들을 의미한다.
본 발명에서는 실시간 유해성 분석을 위한 모델을 사용하기 위해 MobileNet 기반의 CNN 유해성 분석 엔진을 사용하였다. 도 11은 CNN을 위한 일반적인 convolution 연산과 MobileNet을 위한 depthwise convolution 및 pointwise convolution 연산의 방식을 보여준다. 일반적인 convolution 연산의 필터 크기는 K x K 사이즈이며 이미지의 높이와 넓이는 F, 입력 채널의 수는 N, 그리고 필터의 수는 M이다. 따라서 총 연산량은 
이다. 그러나, depthwise convolution은 입력 feature map의 각 채널마다 다른 커널을 사용하기 때문에 필터의 수가 입력 채널의 수와 동일하다. 이 경우 채널 방향으로 연산이 이루어지지 않고 공간 방향으로 convolution 하기 때문에 총 연산량은 
으로 일반적인 convolution 보다 연산량이 적어짐을 알 수 있다. Pointwise convolution은 1x1 conv를 사용하였기 때문에 필터 수가 줄어들어 차원 축소를 통해 연산량이 감소되었다. Depthwise convolution의 연산 방향과 반대로 채널 방향으로 연산을 수행하기 때문에 총 연산량은 
과 같다.
도 11은 Convolution 연산 방식의 비교한 그림이다.
도 12는 본 발명에서 사용하는 유해성 분석 엔진에 사용된 MobileNet을 기반으로 한 CNN의 전체 구조이다. Depthwise seperable conv라고도 불리는 이 구조는 채널 방향과 공간 방향의 convolution 연산을 동시에 수행하는 일반적인 convolution과는 다르게 depthwise convolution과 pointwise convolution을 따로 사용함으로써 공간 방향과 채널 방향의 연산을 따로 수행한 후 합친다. 따라서 일반적인 convolution의 연산량인 
와 Depthwise seperable conv의 연산량인 (
) + (
)의 연산량을 비교했을 때 F = 5, N = 2, M = 64, K = 2 라고 가정하면 약 3.76배 가량의 연산량 차이가 발생한다.
도 12는 Depthwise seperable conv의 구조를 나타낸다.
따라서, 유해성 분석 엔진에 전달되는 프레임은 유해성을 판단하고자 하는 장면의 대표 프레임이 되어야 한다. 장면의 대표 프레임을 추출하기 위해 본 발명에서는 유사도 비교를 통해 중복되지 않는 프레임을 기준으로 장면을 나누고 프레임을 추출하였다. 유사도 비교 연산과 같은 경우는 유해성 분석 엔진 내부에서 수행되는 작업이 아니고 프레임 추출 알고리즘상에서 수행되는 작업이다. 본 발명에서 유사도 비교 연산은 추출된 프레임을 Mat 형태로 변환한 후에 아래에 기술되어 있는 수식을 기반으로 계산된다. x와 
y는 Mat 형태로 변환된 이미지이며 
a, b
,c
의 값은 모두 1로 설정하였다. 평균 밝기는 원본 이미지와 비교 이미지의 평균 밝기를 종합하여 두 이미지의 평균 밝기를 나타낼 수 있도록 정규화된 값을 의미한다. 이 때 
는 원본 이미지
x의 평균 밝기, 
는 비교 이미지 
y의 평균 밝기, 그리고 
은 이미지 밝기 상수를 의미한다. 이미지의 콘트라스트는 원본 이미지와 비교 이미지의 밝기 표준편차를 종합하여 두 이미지의 콘트라스트를 나타낼 수 있도록 정규화된 값을 의미한다. 이 때, 
는 원본 이미지
x의 밝기 표준편차, 
는 비교 이미지 
y의 밝기 표준 편차, 그리고 
는 이미지 콘트라스트 상수를 의미한다. 그리고, 이미지의 구조 지수는 두 이미지 각각의 밝기 표준편차 대비 두 이미지 사이의 연관된 밝기 표준 편차의 값의 상대적 비율을 의미한다. 이 때 밝기 공분산 
는 각 이미지의 밝기 정보가 서로 얼마나 연관성이 있는지를 나타내기 위한 값이며 
는 이미지 구조 상수를 의미한다. 
a, b, c
가 의미하는 것은 평균 밝기, 이미지 콘트라스트, 그리고 이미지 구조 지수를 SSIM을 비교할 때 얼마나 반영할지에 대한 가중치이다. 사람의 지각 품질에 영향을 주는 각 요소를 모두 반영하여 원본 이미지와 비교 이미지 간의 유사도를 비교해야 하기 때문에 가중치를 모두 1로 설정하였고, 이로 인해 SSIM 계산에 있어서 각 요소가 모두 같은 영향력을 가지게 된다.
평균 밝기 
이미지의 콘트라스트 
이미지 구조 지수 
본 발명에서 제안하는 모바일 단말에서 유해 동영상 차단을 위한 단말 자원 기반의 적응적 프레임 추출 및 스트리밍 제어 시스템은 단말의 잔여 배터리 상태를 분류하고 그 상태에 따라 적응적으로 프레임 추출 알고리즘을 결정한다. 제안하는 시스템은 동영상을 재생 중인 단말의 상태에 적합한 프레임 추출 및 유해성 변화 판단을 통해 단말의 배터리 소모를 최소화하고 유해 동영상을 차단하는 것을 목표로 한다. 배터리 상태가 충분할 경우 유해성 변화 판단의 성능을 우선으로 하는 알고리즘을 적용한다. 그러나, 배터리 소모 속도가 증가하여 단말이 절전 모드 돌입에 준비해야 할 경우, 이미지 resizing 크기를 줄여 유사도 비교를 위해 필요한 CPU 부하를 감소시키고 SSIM 임계값을 작게 조절함으로써 유해성 분석 엔진으로 인한 부하를 감소시킨다. 단말이 절전 모드에 돌입했을 경우, 프레임 추출 간격을 기존의 두 배로 늘려서 적용함으로써 유해성 분석으로 인한 부하를 줄이며 단말이 초절전 모드에 돌입했을 경우 프레임 추출 간격을 기존의 3배로 늘리고 유사도 비교를 모든 유해성 변화 구간에 적용하여 유해성 분석으로 인한 부하를 최소화한다. 본 발명에서 제안하는 시스템에서 사용되는 여러 임계값과 배터리 상태의 기준의 경우 스트리밍 서비스를 제공하는 서비스 사업자의 기호에 따라 값을 다르게 설정할 수 있다. 또한, 제안하는 시스템에서 스트리밍 제어 방식으로 사용하는 모자이크 처리 외에 스트리밍 세션 차단, 동영상 품질 저하, 유해 동영상 안내 문구 출력과 같은 다양한 방식을 적용할 수 있다.
본 발명에 따른 실시예들은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되고 컴퓨터 판독 가능 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 기록 매체는 프로그램 명령, 데이터 파일, 데이터 구조를 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 기록 매체는 스토리지, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리, 스토리지와 같은 저장 매체에 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치가 포함될 수 있다. 프로그램 명령의 예는 컴파일러에 의해 만들어지는 것과, 기계어 코드 뿐만아니라 인터프리터를 사용하여 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상기 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로써 작동하도록 구성될 수 있다.
이상에서 설명한 바와 같이, 본 발명의 방법은 프로그램으로 구현되어 컴퓨터의 소프트웨어를 이용하여 읽을 수 있는 형태로 기록매체(CD-ROM, RAM, ROM, 메모리 카드, 하드 디스크, 광자기 디스크, 스토리지 디바이스 등)에 저장될 수 있다.
본 발명의 구체적인 실시예를 참조하여 설명하였지만, 본 발명은 상기와 같이 기술적 사상을 예시하기 위해 구체적인 실시 예와 동일한 구성 및 작용에만 한정되지 않고, 본 발명의 기술적 사상과 범위를 벗어나지 않는 한도 내에서 다양하게 변형하여 실시될 수 있으며, 본 발명의 범위는 후술하는 특허청구범위에 의해 결정되어야 한다.
100: 유해성 분석 엔진
110: 적응적 프레임 추출 모듈
120: 스트리밍 제어 모듈
110: 적응적 프레임 추출 모듈
120: 스트리밍 제어 모듈
Claims (22)
- 서버;
적응적 프레임 추출 모듈과, 유해 동영상 차단에 필요한 단말 자원은 단말의 처리 능력과 관련된 요소와 유해 동영상에 대한 대응 결과의 경우 추출된 프레임의 개수와 유해성 분석에 소요된 시간이 존재하며, 딥러닝 기반의 유해성 분석 엔진과 유해동영상의 경우 모자이크 처리하는 스트리밍 제어 모듈을 구비하는 사용자 단말을 포함하고,
상기 서버로부터 수신한 동영상 세그먼트의 프레임은 실시간으로 추출된 후 상기 유해성 분석 엔진으로 전달되고, 상기 유해성 분석 엔진은 추출 프레임별 유해성 분석 결과를 유해성 변화 판단 모듈로 전달하여 재생 중인 동영상의 유해성 변화를 판단하며, 유해성 판단 결과는 유해성 분석에 필요한 단말 자원의 변화와 함께 프레임 추출 방식을 조정하기 위해 사용되고, 프레임 추출 방식 조절을 위한 기준이 되는 단말 자원 특성은 사용자 단말의 잔여 배터리의 상태이며,
상기 사용자 단말의 잔여 배터리의 상태는 단말의 스펙에 따라 충분하다고 판단되는 상태(40%), 절전 모드의 기준이 되는 상태(20%)와 초절전 모드의 기준이 되는 상태(10%)로 나뉘고, 모바일 단말에서 유해 동영상 차단을 위한 단말 자원 기반의 적응적 프레임 추출 및 동영상 세그먼트의 비트율(bit rate)을 적응적으로 결정하는 HTTP 적응적 스트리밍 기반으로 동작하는, 모바일 단말에서 유해 동영상 차단을 위한 단말 자원 기반의 적응적 프레임 추출 및 스트리밍 제어 시스템. - 제1항에 있어서,
상기 유해 동영상 차단에 필요한 단말 자원은 단말의 처리 능력과 관련된 요소는 CPU 점유율, 배터리 소모량을 포함하는, 모바일 단말에서 유해 동영상 차단을 위한 단말 자원 기반의 적응적 프레임 추출 및 스트리밍 제어 시스템. - 제1항에 있어서,
상기 사용자 단말의 잔여 배터리의 상태가 40% 이상일 경우 유해성 변화와 프레임 간의 유사도 비교 기반의 적응적 프레임 추출 알고리즘을 적용하며,
상기 사용자 단말의 잔여 배터리 상태가 절전 모드로 돌입을 준비해야 하는 경우 유해 동영상 차단 과정에서 CPU 부하에 주는 영향이 적은 이미지 resizing 크기와 SSIM 임계값을 제어함으로써 배터리의 빠른 소모에 대비하고,
상기 사용자 단말의 잔여 배터리 상태가 절전 모드 상태이거나 또는 초절전 모드 상태일 경우 프레임 추출 간격 제어와 유사도 비교를 추가로 적용하여 단말의 부하를 감소시키는, 모바일 단말에서 유해 동영상 차단을 위한 단말 자원 기반의 적응적 프레임 추출 및 스트리밍 제어 시스템. - 제1항에 있어서,
HTTP 적응적 스트리밍에서, 상기 서버는 동영상을 고정된 재생 길이와 서로 다른 비트율을 가지는 세그먼트들로 인코딩하여 저장하며, 동영상 세그먼트에 대한 정보는 MPD(Media Presentation Description) 파일로 저장되어 스트리밍 시작 후 클라이언트로 전달되고, 상기 클라이언트는 수신한 MPD 파일의 동영상 세그먼트 관련 정보와 측정한 네트워크 상태를 사용하여 다음에 요청할 동영상 세그먼트의 비트율을 결정하며,
상기 MPD 파일은 서버가 동여상 스트리밍할때, 동영상 세그먼트의 정보(720P, 240P 화질의 duration), 동영상 세그먼트의 품질(bit rate), 서버 URL 정보를 포함하는, 모바일 단말에서 유해 동영상 차단을 위한 단말 자원 기반의 적응적 프레임 추출 및 스트리밍 제어 시스템. - 제1항에 있어서,
모바일 단말에서 유해 동영상 차단을 위한 단말 자원 기반의 적응적 프레임 추출 및 스트리밍 제어 시스템에서 추출된 프레임에 대한 유해성 분석을 하는 딥러닝 기반의 유해성 분석 엔진은 CNN(Convolutional Neural Network) 모델을 사용하며,
상기 유해성 분석 엔진은 CNN 기반의 모델을 유해한 이미지와 무해한 이미지로 분류된 데이터 세트를 사용하여 학습시킨 유해 이미지 분류 엔진이며, 학습에 사용되는 이미지 세트는 사전에 각 이미지가 유해한 이미지인지 무해한 이미지인지 라벨링되어 있으며, 유해성 분석 엔진은 임의의 이미지가 입력되었을 때 그 이미지의 장면 정보를 추출하여 학습된 모델을 통해 해당 이미지가 유해한 이미지인지 무해한 이미지인지 분류하고, 이미지의 장면 정보는 픽셀 RGB 값의 분포, 장면 내 움직임 검출 결과, 그리고 HSV (Hue, Saturation, Value) 값과 같은 것들을 의미한다.
상기 유해성 분석 엔진에 전달되는 프레임은 유해성을 판단하고자 하는 장면의 대표 프레임을 추출하기 위해 유사도 비교를 통해 중복되지 않는 프레임을 기준으로 장면을 나누고, 프레임을 추출하였으며, 유사도 비교 연산과 같은 경우 상기 유해성 분석 엔진 내부에서 수행되는 작업이 아니고 프레임 추출 알고리즘 상에서 수행되는 작업이고, 유사도 비교 연산은 추출된 프레임을 Mat 형태로 변환한 후에 기술되어 있는 수식을 기반으로 계산되는, 모바일 단말에서 유해 동영상 차단을 위한 단말 자원 기반의 적응적 프레임 추출 및 스트리밍 제어 시스템. - 제1항에 있어서,
재생 중인 동영상의 유해성을 실시간으로 분석하기 위해 필요한 사용자 단말 자원(잔여 배터리, CPU 부하)은 유해성 분석의 부하에 영향을 끼치며, 동영상을 재생 중인 단말의 잔여 배터리를 기준으로 단말 자원의 부하에 영향을 주는 컨텍스트들(contexts)을 조절함으로써 유해성 분석에 활용되는 사용자 단말의 처리 능력을 고려한 프레임 추출 기술을 수행하며, 사용자 단말의 잔여 배터리 상태는 배터리가 충분할 경우(40% 이상일 경우), 배터리 소모 속도를 줄여 절전 모드 돌입을 준비해야 하는 경우(40~20% 일 경우), 절전 모드에 돌입했을 경우(20~10% 일 경우)와 초절전 모드에 돌입했을 경우(10~0%)로 분류되고, 각 배터리 상태에 따른 사용자 단말의 배터리의 상태를 판단하는 기준은 단말의 스펙에 따라 서비스 제공자가 선택 가능한 값이며 실시예에서는 40%, 20% 그리고 10%를 그 기준으로 설정하는, 모바일 단말에서 유해 동영상 차단을 위한 단말 자원 기반의 적응적 프레임 추출 및 스트리밍 제어 시스템. - 제1항에 있어서,
상기 서버로부터 동영상 스트림이 전송되면, 사용자 단말의 잔여 배터리가 충분한 상태일 경우 HTTP 기반 적응적 프레임 추출 알고리즘에 따라 동영상 프레임을 추출하고, 추출된 프레임은 딥러닝 기반의 유해성 분석 엔진으로 전달되며, 상기 유해성 분석 엔진은 입력된 동영상 프레임에 대한 유해성 분석을 통해 프레임별 유해 확률의 형태로 유해성 분석 결과를 동영상 스트리밍 차단 제어 모듈과 적응적 프레임 추출 모듈로 전달하며,
상기 적응적 프레임 추출 모듈은 상기 유해성 분석 결과에 따라 동영상의 유해성 변화를 판단하고, 유해성 변화에 따라 프레임 추출 간격 및 유사도 비교를 결정하며, 제안하는 시스템은 중복된 프레임의 추출을 방지하여 부하를 최소화하기 위해 동영상이 유해하다고 판단되기 전까지 고정 간격과 유사도 비교를 적용하여 프레임을 추출하며, 프레임 간 유사도 비교를 통한 추출은 SSIM 값을 계산하여 사전에 설정된 임계를 초과할 경우 유사한 프레임으로 판단하여 추출 대상에서 제외하며 임계보다 낮은 값이 나올 경우 서로 다른 장면의 프레임으로 판단하여 추출 대상에 포함하는, 모바일 단말에서 유해 동영상 차단을 위한 단말 자원 기반의 적응적 프레임 추출 및 스트리밍 제어 시스템. - 제1항에 있어서,
동영상 프레임 간 유사도 비교 기반의 프레임 추출을 위해 SSIM (Structural Similarity; 구조적 유사도 지수) 값을 계산하여 프레임 간 유사도 비교를 수행시에 SSIM은 주로 2D 이미지에 대한 지각 품질 평가에서 사용되는 대표적인 메트릭으로써, SSIM 값은 유사도 비교 대상이 되는 두 이미지의 각 픽셀에 대한 밝기 정보와 왜곡 정보를 이용하여 계산되며, 동영상 스트림 특성 기반의 스트리밍 제어 시스템은 SSIM 값을 기반으로 추출된 동영상 프레임 간의 유사도를 비교하며,
예를들면, 추출된 동영상 프레임 중 10번째 프레임과 11번째 프레임에 대한 SSIM 값은 0.4795로 작은 값을 가지며, SSIM 값이 작을 경우 제안하는 동영상 스트림 특성 기반의 스트리밍 제어 시스템은 해당 프레임들이 서로 다른 장면에 포함된다고 판단하고, 반면 11번째 동영상 프레임과 12번째 동영상 프레임에 대한 SSIM 값은 0.8258로 큰 값을 가지기 때문에 이 경우 해당 프레임들이 같은 장면에 포함된다고 판단하며,
유사도 비교 기반의 동영상 프레임 추출이 어떤 방식으로 동작하는지 보여주기 위한 예시(도 5)로, 제안하는 동영상 스트림 특성 기반의 스트리밍 제어 시스템에서 동영상 세그먼트 내에 포함된 여러 장면을 구분하고 각 장면을 대표하는 프레임을 추출하는 메커니즘과는 차이가 존재하며, 본 발명의 장면 변화의 기준은 인접한 동영상 프레임 간의 유사도를 비교할 때 SSIM 값이 크게 변하는 부분이 되며, 예를 들면, 도 4에서 첫 번째로 추출된 동영상 프레임이 포함된 장면의 경우 추출된 프레임과 유사한 프레임들이 모여 있는 장면으로 볼 수 있고, 반면 두 번째로 추출된 동영상 프레임이 포함된 장면의 경우 첫 번째로 추출된 동영상 프레임이 포함된 장면과 비교할 때 SSIM 값이 크게 변하는 프레임부터 시작되는 장면으로 볼 수 있으며,
원본 이미지를 x, 비교 이미지를 y라고 할 때 SSIM 값을 계산하기 위해 우선 두 이미지의 픽셀들에 대한 평균 밝기 I(x,y)를 다음 수식과 같이 계산하며는 원본 이미지 x의 평균 밝기,
는 비교 이미지 y의 평균 밝기, 그리고
은 이미지 밝기 상수를 의미하고, 해당 수식에 의해 계산되는 값은 원본 이미지와 비교 이미지의 평균 밝기를 종합하여 두 이미지의 평균 밝기를 나타낼 수 있도록 정규화된 값을 의미하며,
평균 밝기를 계산한 후에는 각 이미지의 표준편차 값을 이미지의 콘트라스트 값으로 정의하고, 두 이미지의 표준편차 값을 다음 수식과 같이 계산하며,
는 원본 이미지
의 밝기 표준편차,
는 비교 이미지
의 밝기 표준 편차, 그리고
는 이미지 콘트라스트 상수를 의미하고, 두 이미지의 평균 밝기를 계산하는 수식과 마찬가지로, 해당 수식에 의해 계산되는 값은 원본 이미지와 비교 이미지의 밝기 표준편차를 종합하여 두 이미지의 콘트라스트를 나타낼 수 있도록 정규화된 값을 의미하며,
이미지 콘트라스트를 계산한 후에는 두 이미지 간의 밝기 공분산과 밝기 표준편차를 이용하여 이미지 구조 지수의 값을 다음 수식과 같이 계산하고, 밝기 공분산
는 각 이미지의 밝기 정보가 서로 얼마나 연관성이 있는지를 나타내기 위한 값이며
는 이미지 구조 상수를 의미하며, 해당 수식에 의해 계산되는 값은 두 이미지 각각의 밝기 표준편차 대비 두 이미지 사이의 연관된 밝기 표준 편차의 값의 상대적 비율을 의미하고,
이미지 구조 상수는 이미지 콘트라스트 상수를 이용하여 다음 수식과 같이 계산되고 이미지 콘트라스트를 계산하는 과정이 이미지의 밝기 표준편차를 포함하기 때문에 이미지 구조 지수를 계산하는 과정과 연관성이 있으며, 다만 이미지 구조 지수 계산에는 밝기 공분산을 사용하기 때문에 상수항에 의한 편향을 줄이기 위해 해당 수식과 같이 이미지 구조 상수를 계산하며,
최종적으로, SSIM 값은 두 이미지의 평균 밝기, 이미지의 콘트라스트 값, 그리고 이미지 구조 지수를 종합하여 다음 수식과 같이 계산되며, 이때 사용되는 가중치 a, b, c의 값은 모두 1로 설정되며, 해당 수식이 의미하는 바는 사람의 지각 품질에 영향을 주는 각 요소를 모두 반영하여 원본 이미지와 비교 이미지 간의 유사도를 비교하겠다는 것으로, 가중치가 모두 1로 설정되었기 때문에 SSIM 계산에 있어서 각 요소가 모두 같은 영향력을 가지게 되는,
모바일 단말에서 유해 동영상 차단을 위한 단말 자원 기반의 적응적 프레임 추출 및 스트리밍 제어 시스템. - 제1항에 있어서,
상기 사용자 단말의 배터리 소모량이 늘어 절전 모드(20%)로 돌입을 준비해야 하는 경우, 상대적으로 CPU 부하 변동폭이 적은 유사도 비교 과정에서 resizing 되는 이미지 크기와 유사도 비교의 기준이 되는 SSIM 임계값을 조절하며, 이미지 reszing 크기와 SSIM 임계값은 배터리가 충분할 경우에 각각 200 by 200과 0.8의 값을 사용하며 그렇지 않을 경우에는 100 by 100과 0.7의 값을 사용하며, 이미지 resizing 크기의 감소는 유사도 비교에 필요한 CPU의 부하 정도를 감소시킬 수 있고 SSIM 임계값의 감소는 추출되는 프레임의 개수를 감소시켜 유해성 분석에 의한 부하를 줄일 수 있는 것을 특징으로 하는 모바일 단말에서 유해 동영상 차단을 위한 단말 자원 기반의 적응적 프레임 추출 및 스트리밍 제어 시스템. - 제1항에 있어서,
상기 사용자 단말의 배터리 상태가 절전 모드(20%)일 경우의 유해 단계별 프레임 추출 간격 및 유사도 비교 결정을 나타낸다. 단말이 절전 모드(20%)에 돌입했을 경우, 제안하는 시스템은 이전 단계에서 조절한 이미지 resizing 크기와 SSIM 임계값을 유지한다. 그리고 프레임 추출 간격을 기준 프레임 추출 간격의 2배로 늘려 유해성 분석 엔진이 동작되는 횟수를 감소시킴으로써 단말 자원에 대한 부하를 감소시킬 수 있는, 모바일 단말에서 유해 동영상 차단을 위한 단말 자원 기반의 적응적 프레임 추출 및 스트리밍 제어 시스템. - 제1항에 있어서,
상기 사용자 단말의 배터리 상태가 초절전 모드(10 %)일 경우의 유해 단계별 프레임 추출 간격 및 유사도 비교 결정을 하며, 단말이 초절전 모드에 돌입했을 경우, 제안하는 시스템은 이미지 resizing 크기와 SSIM 임계값을 이전 단계의 값으로 유지하고 프레임 추출 간격을 기준 프레임 추출 간격의 3배로 늘리며 모든 유해성 구간에서 유사도 비교를 일괄적으로 적용하여 프레임 추출을 최소화하고, 이를 통해 유해성 분석 엔진이 동작되는 횟수가 최소화되어 단말 자원에 대한 부하를 최소화할 수 있으며, 기준 프레임 추출 간격을 늘리는 배율은 서비스 제공자가 환경에 따라 설정 가능한 상수로써 제안하는 시스템에서는 각각 2와 3으로 설정하는 모바일 단말에서 유해 동영상 차단을 위한 단말 자원 기반의 적응적 프레임 추출 및 스트리밍 제어 시스템. - 서버; 적응적 프레임 추출 모듈과, 유해 동영상 차단에 필요한 사용자 단말 자원은 단말의 처리 능력과 관련된 요소와 유해 동영상에 대한 대응 결과의 경우 추출된 프레임의 개수와 유해성 분석에 소요된 시간이 존재하며, 딥러닝 기반의 유해성 분석 엔진과 유해동영상의 경우 모자이크 처리하는 스트리밍 제어 모듈을 구비하는 사용자 단말을 포함하는 단말 자원(배터리의 상태) 기반의 적응적 프레임 추출 및 스트리밍 제어 시스템에서,
상기 서버로부터 수신한 동영상 세그먼트의 프레임은 실시간으로 추출된 후 상기 유해성 분석 엔진으로 전달되고, 상기 유해성 분석 엔진은 추출 프레임별 유해성 분석 결과를 유해성 변화 판단 모듈로 전달하여 재생 중인 동영상의 유해성 변화를 판단하며, 유해성 판단 결과는 유해성 분석에 필요한 단말 자원의 변화와 함께 프레임 추출 방식을 조정하기 위해 사용되고, 프레임 추출 방식 조절을 위한 기준이 되는 단말 자원 특성은 사용자 단말의 잔여 배터리의 상태이며,
상기 사용자 단말의 잔여 배터리의 상태는 단말의 스펙에 따라 충분하다고 판단되는 상태(40%), 절전 모드의 기준이 되는 상태(20%)와 초절전 모드의 기준이 되는 상태(10%)로 나뉘고, 모바일 단말에서 유해 동영상 차단을 위한 단말 자원 기반의 적응적 프레임 추출 및 동영상 세그먼트의 비트율(bit rate)을 적응적으로 결정하는 HTTP 적응적 스트리밍 기반으로 동작하는 단계;
를 포함하는 모바일 단말에서 유해 동영상 차단을 위한 단말 자원 기반의 적응적 프레임 추출 및 스트리밍 제어 방법. - 제12항에 있어서,
상기 유해 동영상 차단에 필요한 단말 자원은 단말의 처리 능력과 관련된 요소는 CPU 점유율, 배터리 소모량을 포함하는, 모바일 단말에서 유해 동영상 차단을 위한 단말 자원 기반의 적응적 프레임 추출 및 스트리밍 제어 방법. - 제12항에 있어서,
상기 사용자 단말의 잔여 배터리의 상태가 40% 이상일 경우 유해성 변화와 프레임 간의 유사도 비교 기반의 적응적 프레임 추출 알고리즘을 적용하며,
상기 사용자 단말의 잔여 배터리 상태가 절전 모드로 돌입을 준비해야 하는 경우 유해 동영상 차단 과정에서 CPU 부하에 주는 영향이 적은 이미지 resizing 크기와 SSIM 임계값을 제어함으로써 배터리의 빠른 소모에 대비하고,
상기 사용자 단말의 잔여 배터리 상태가 절전 모드 상태이거나 또는 초절전 모드 상태일 경우 프레임 추출 간격 제어와 유사도 비교를 추가로 적용하여 단말의 부하를 감소시키는, 모바일 단말에서 유해 동영상 차단을 위한 단말 자원 기반의 적응적 프레임 추출 및 스트리밍 제어 방법. - 제12항에 있어서,
HTTP 적응적 스트리밍에서, 상기 서버는 동영상을 고정된 재생 길이와 서로 다른 비트율을 가지는 세그먼트들로 인코딩하여 저장하며, 동영상 세그먼트에 대한 정보는 MPD(Media Presentation Description) 파일로 저장되어 스트리밍 시작 후 클라이언트로 전달되고, 상기 클라이언트는 수신한 MPD 파일의 동영상 세그먼트 관련 정보와 측정한 네트워크 상태를 사용하여 다음에 요청할 동영상 세그먼트의 비트율을 결정하는, 모바일 단말에서 유해 동영상 차단을 위한 단말 자원 기반의 적응적 프레임 추출 및 스트리밍 제어 방법. - 제12항에 있어서,
모바일 단말에서 유해 동영상 차단을 위한 단말 자원 기반의 적응적 프레임 추출 및 스트리밍 제어 시스템에서 추출된 프레임에 대한 유해성 분석을 하는 딥러닝 기반의 유해성 분석 엔진은 CNN(Convolutional Neural Network) 모델을 사용하며,
상기 유해성 분석 엔진은 CNN 기반의 모델을 유해한 이미지와 무해한 이미지로 분류된 데이터 세트를 사용하여 학습시킨 유해 이미지 분류 엔진이며, 학습에 사용되는 이미지 세트는 사전에 각 이미지가 유해한 이미지인지 무해한 이미지인지 라벨링되어 있으며, 유해성 분석 엔진은 임의의 이미지가 입력되었을 때 그 이미지의 장면 정보를 추출하여 학습된 모델을 통해 해당 이미지가 유해한 이미지인지 무해한 이미지인지 분류하고, 이미지의 장면 정보는 픽셀 RGB 값의 분포, 장면 내 움직임 검출 결과, 그리고 HSV (Hue, Saturation, Value) 값과 같은 것들을 의미하고,
상기 유해성 분석 엔진에 전달되는 프레임은 유해성을 판단하고자 하는 장면의 대표 프레임을 추출하기 위해 유사도 비교를 통해 중복되지 않는 프레임을 기준으로 장면을 나누고, 프레임을 추출하였으며, 유사도 비교 연산과 같은 경우 상기 유해성 분석 엔진 내부에서 수행되는 작업이 아니고 프레임 추출 알고리즘 상에서 수행되는 작업이고, 유사도 비교 연산은 추출된 프레임을 Mat 형태로 변환한 후에 기술되어 있는 수식을 기반으로 계산되는, 모바일 단말에서 유해 동영상 차단을 위한 단말 자원 기반의 적응적 프레임 추출 및 스트리밍 제어 방법. - 제12항에 있어서,
재생 중인 동영상의 유해성을 실시간으로 분석하기 위해 필요한 사용자 단말 자원(잔여 배터리, CPU 부하)은 유해성 분석의 부하에 영향을 끼치며, 동영상을 재생 중인 단말의 잔여 배터리를 기준으로 단말 자원의 부하에 영향을 주는 컨텍스트들(contexts)을 조절함으로써 유해성 분석에 활용되는 사용자 단말의 처리 능력을 고려한 프레임 추출 기술을 수행하며, 사용자 단말의 잔여 배터리 상태는 배터리가 충분할 경우(40% 이상일 경우), 배터리 소모 속도를 줄여 절전 모드 돌입을 준비해야 하는 경우(40~20% 일 경우), 절전 모드에 돌입했을 경우(20~10% 일 경우)와 초절전 모드에 돌입했을 경우(10~0%)로 분류되고, 각 배터리 상태에 따른 사용자 단말의 배터리의 상태를 판단하는 기준은 단말의 스펙에 따라 서비스 제공자가 선택 가능한 값이며 실시예에서는 40%, 20% 그리고 10%를 그 기준으로 설정하는, 모바일 단말에서 유해 동영상 차단을 위한 단말 자원 기반의 적응적 프레임 추출 및 스트리밍 제어 방법. - 제12항에 있어서,
상기 서버로부터 동영상 스트림이 전송되면, 사용자 단말의 잔여 배터리가 충분한 상태일 경우 HTTP 기반 적응적 프레임 추출 알고리즘에 따라 동영상 프레임을 추출하고, 추출된 프레임은 딥러닝 기반의 유해성 분석 엔진으로 전달되며, 상기 유해성 분석 엔진은 입력된 동영상 프레임에 대한 유해성 분석을 통해 프레임별 유해 확률의 형태로 유해성 분석 결과를 동영상 스트리밍 차단 제어 모듈과 적응적 프레임 추출 모듈로 전달하며,
상기 적응적 프레임 추출 모듈은 상기 유해성 분석 결과에 따라 동영상의 유해성 변화를 판단하고, 유해성 변화에 따라 프레임 추출 간격 및 유사도 비교를 결정하며, 제안하는 시스템은 중복된 프레임의 추출을 방지하여 부하를 최소화하기 위해 동영상이 유해하다고 판단되기 전까지 고정 간격과 유사도 비교를 적용하여 프레임을 추출하며, 프레임 간 유사도 비교를 통한 추출은 SSIM 값을 계산하여 사전에 설정된 임계를 초과할 경우 유사한 프레임으로 판단하여 추출 대상에서 제외하며 임계보다 낮은 값이 나올 경우 서로 다른 장면의 프레임으로 판단하여 추출 대상에 포함하는, 모바일 단말에서 유해 동영상 차단을 위한 단말 자원 기반의 적응적 프레임 추출 및 스트리밍 제어 방법. - 제12항에 있어서,
동영상 프레임 간 유사도 비교 기반의 프레임 추출을 위해 SSIM (Structural Similarity; 구조적 유사도 지수) 값을 계산하여 프레임 간 유사도 비교를 수행시에 SSIM은 주로 2D 이미지에 대한 지각 품질 평가에서 사용되는 대표적인 메트릭으로써, SSIM 값은 유사도 비교 대상이 되는 두 이미지의 각 픽셀에 대한 밝기 정보와 왜곡 정보를 이용하여 계산되며, 동영상 스트림 특성 기반의 스트리밍 제어 시스템은 SSIM 값을 기반으로 추출된 동영상 프레임 간의 유사도를 비교하며,
예를들면, 추출된 동영상 프레임 중 10번째 프레임과 11번째 프레임에 대한 SSIM 값은 0.4795로 작은 값을 가지며, SSIM 값이 작을 경우 제안하는 동영상 스트림 특성 기반의 스트리밍 제어 시스템은 해당 프레임들이 서로 다른 장면에 포함된다고 판단하고, 반면 11번째 동영상 프레임과 12번째 동영상 프레임에 대한 SSIM 값은 0.8258로 큰 값을 가지기 때문에 이 경우 해당 프레임들이 같은 장면에 포함된다고 판단하며,
유사도 비교 기반의 동영상 프레임 추출이 어떤 방식으로 동작하는지 보여주기 위한 예시(도 5)로, 제안하는 동영상 스트림 특성 기반의 스트리밍 제어 시스템에서 동영상 세그먼트 내에 포함된 여러 장면을 구분하고 각 장면을 대표하는 프레임을 추출하는 메커니즘과는 차이가 존재하며, 본 발명의 장면 변화의 기준은 인접한 동영상 프레임 간의 유사도를 비교할 때 SSIM 값이 크게 변하는 부분이 되며, 예를 들면, 도 4에서 첫 번째로 추출된 동영상 프레임이 포함된 장면의 경우 추출된 프레임과 유사한 프레임들이 모여 있는 장면으로 볼 수 있고, 반면 두 번째로 추출된 동영상 프레임이 포함된 장면의 경우 첫 번째로 추출된 동영상 프레임이 포함된 장면과 비교할 때 SSIM 값이 크게 변하는 프레임부터 시작되는 장면으로 볼 수 있으며,
원본 이미지를 x, 비교 이미지를 y라고 할 때 SSIM 값을 계산하기 위해 우선 두 이미지의 픽셀들에 대한 평균 밝기 I(x,y)를 다음 수식과 같이 계산하며는 원본 이미지 x의 평균 밝기,
는 비교 이미지 y의 평균 밝기, 그리고
은 이미지 밝기 상수를 의미하고, 해당 수식에 의해 계산되는 값은 원본 이미지와 비교 이미지의 평균 밝기를 종합하여 두 이미지의 평균 밝기를 나타낼 수 있도록 정규화된 값을 의미하며,
평균 밝기를 계산한 후에는 각 이미지의 표준편차 값을 이미지의 콘트라스트 값으로 정의하고, 두 이미지의 표준편차 값을 다음 수식과 같이 계산하며,
는 원본 이미지
의 밝기 표준편차,
는 비교 이미지
의 밝기 표준 편차, 그리고
는 이미지 콘트라스트 상수를 의미하고, 두 이미지의 평균 밝기를 계산하는 수식과 마찬가지로, 해당 수식에 의해 계산되는 값은 원본 이미지와 비교 이미지의 밝기 표준편차를 종합하여 두 이미지의 콘트라스트를 나타낼 수 있도록 정규화된 값을 의미하며,
이미지 콘트라스트를 계산한 후에는 두 이미지 간의 밝기 공분산과 밝기 표준편차를 이용하여 이미지 구조 지수의 값을 다음 수식과 같이 계산하고, 밝기 공분산
는 각 이미지의 밝기 정보가 서로 얼마나 연관성이 있는지를 나타내기 위한 값이며
는 이미지 구조 상수를 의미하며, 해당 수식에 의해 계산되는 값은 두 이미지 각각의 밝기 표준편차 대비 두 이미지 사이의 연관된 밝기 표준 편차의 값의 상대적 비율을 의미하고,
이미지 구조 상수는 이미지 콘트라스트 상수를 이용하여 다음 수식과 같이 계산되고 이미지 콘트라스트를 계산하는 과정이 이미지의 밝기 표준편차를 포함하기 때문에 이미지 구조 지수를 계산하는 과정과 연관성이 있으며, 다만 이미지 구조 지수 계산에는 밝기 공분산을 사용하기 때문에 상수항에 의한 편향을 줄이기 위해 해당 수식과 같이 이미지 구조 상수를 계산하며,
최종적으로, SSIM 값은 두 이미지의 평균 밝기, 이미지의 콘트라스트 값, 그리고 이미지 구조 지수를 종합하여 다음 수식과 같이 계산되며, 이때 사용되는 가중치 a, b, c의 값은 모두 1로 설정되며, 해당 수식이 의미하는 바는 사람의 지각 품질에 영향을 주는 각 요소를 모두 반영하여 원본 이미지와 비교 이미지 간의 유사도를 비교하겠다는 것으로, 가중치가 모두 1로 설정되었기 때문에 SSIM 계산에 있어서 각 요소가 모두 같은 영향력을 가지게 되는,
모바일 단말에서 유해 동영상 차단을 위한 단말 자원 기반의 적응적 프레임 추출 및 스트리밍 제어 방법. - 제12항에 있어서,
상기 사용자 단말의 배터리 소모량이 늘어 절전 모드(20%)로 돌입을 준비해야 하는 경우, 상대적으로 CPU 부하 변동폭이 적은 유사도 비교 과정에서 resizing 되는 이미지 크기와 유사도 비교의 기준이 되는 SSIM 임계값을 조절하며, 이미지 reszing 크기와 SSIM 임계값은 배터리가 충분할 경우에 각각 200 by 200과 0.8의 값을 사용하며 그렇지 않을 경우에는 100 by 100과 0.7의 값을 사용하며, 이미지 resizing 크기의 감소는 유사도 비교에 필요한 CPU의 부하 정도를 감소시킬 수 있고 SSIM 임계값의 감소는 추출되는 프레임의 개수를 감소시켜 유해성 분석에 의한 부하를 줄일 수 있는 것을 특징으로 하는 모바일 단말에서 유해 동영상 차단을 위한 단말 자원 기반의 적응적 프레임 추출 및 스트리밍 제어 방법. - 제12항에 있어서,
상기 사용자 단말의 배터리 상태가 절전 모드(20%)일 경우의 유해 단계별 프레임 추출 간격 및 유사도 비교 결정을 나타낸다. 단말이 절전 모드(20%)에 돌입했을 경우, 제안하는 시스템은 이전 단계에서 조절한 이미지 resizing 크기와 SSIM 임계값을 유지한다. 그리고 프레임 추출 간격을 기준 프레임 추출 간격의 2배로 늘려 유해성 분석 엔진이 동작되는 횟수를 감소시킴으로써 단말 자원에 대한 부하를 감소시킬 수 있는, 모바일 단말에서 유해 동영상 차단을 위한 단말 자원 기반의 적응적 프레임 추출 및 스트리밍 제어 방법. - 제12항에 있어서,
상기 사용자 단말의 배터리 상태가 초절전 모드(10 %)일 경우의 유해 단계별 프레임 추출 간격 및 유사도 비교 결정을 하며, 단말이 초절전 모드에 돌입했을 경우, 제안하는 시스템은 이미지 resizing 크기와 SSIM 임계값을 이전 단계의 값으로 유지하고 프레임 추출 간격을 기준 프레임 추출 간격의 3배로 늘리며 모든 유해성 구간에서 유사도 비교를 일괄적으로 적용하여 프레임 추출을 최소화하고, 이를 통해 유해성 분석 엔진이 동작되는 횟수가 최소화되어 단말 자원에 대한 부하를 최소화할 수 있으며, 기준 프레임 추출 간격을 늘리는 배율은 서비스 제공자가 환경에 따라 설정 가능한 상수로써 제안하는 시스템에서는 각각 2와 3으로 설정하는 모바일 단말에서 유해 동영상 차단을 위한 단말 자원 기반의 적응적 프레임 추출 및 스트리밍 제어 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210154308A KR102574353B1 (ko) | 2021-11-10 | 2021-11-10 | 모바일 단말에서 유해 동영상 차단을 위한 단말 자원 기반의 적응적 프레임 추출 및 스트리밍 제어 시스템 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210154308A KR102574353B1 (ko) | 2021-11-10 | 2021-11-10 | 모바일 단말에서 유해 동영상 차단을 위한 단말 자원 기반의 적응적 프레임 추출 및 스트리밍 제어 시스템 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230068207A true KR20230068207A (ko) | 2023-05-17 |
| KR102574353B1 KR102574353B1 (ko) | 2023-09-01 |
Family
ID=86547247
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210154308A KR102574353B1 (ko) | 2021-11-10 | 2021-11-10 | 모바일 단말에서 유해 동영상 차단을 위한 단말 자원 기반의 적응적 프레임 추출 및 스트리밍 제어 시스템 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102574353B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117156203B (zh) * | 2023-09-19 | 2024-05-07 | 广西艺术学院 | 一种自动视频展示方法及系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100687732B1 (ko) | 2005-11-24 | 2007-02-27 | 한국전자통신연구원 | 내용 기반 멀티 모달 특징값을 이용한 유해 동영상 차단방법 및 그 장치 |
| KR100907172B1 (ko) | 2007-07-11 | 2009-07-09 | 에스케이 텔레콤주식회사 | 동영상 유통 환경에서 유해 동영상의 다단계 차단 시스템및 방법 |
| KR20110046096A (ko) * | 2009-10-28 | 2011-05-04 | (주)필링크 | 디지털 영상 수신 및 재생 장치에서의 유해 차단 모듈 |
| KR20150092546A (ko) * | 2014-02-05 | 2015-08-13 | 한국전자통신연구원 | 무해 프레임 필터 및 이를 포함하는 유해 영상 차단 장치, 무해 프레임을 필터링하는 방법 |
| KR20160107734A (ko) * | 2015-03-05 | 2016-09-19 | 한국전자통신연구원 | 동영상의 시간정보를 이용한 유해 동영상 분류방법 및 장치 |
| KR20190066218A (ko) * | 2017-12-05 | 2019-06-13 | 이원 | 유해물 관리 방법, 이를 실행하는 컴퓨팅 장치 및 컴퓨터 프로그램 |
| KR102169073B1 (ko) | 2019-09-30 | 2020-10-22 | 광운대학교 산학협력단 | 동영상 유해성 분석 결과 기반 실시간 스트리밍 차단 시스템 및 방법 |
| KR20210047086A (ko) * | 2019-10-21 | 2021-04-29 | 아주대학교산학협력단 | 전자 장치 및 이의 디스플레이 패널의 소모 전력 분석 방법 |
| KR20210133411A (ko) * | 2020-04-29 | 2021-11-08 | 한국전자통신연구원 | 스마트 기기에서의 유해 스트리밍 영상 검출 방법, 스마트 기기 및 기계 학습 단말 |
-
2021
- 2021-11-10 KR KR1020210154308A patent/KR102574353B1/ko active IP Right Grant
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100687732B1 (ko) | 2005-11-24 | 2007-02-27 | 한국전자통신연구원 | 내용 기반 멀티 모달 특징값을 이용한 유해 동영상 차단방법 및 그 장치 |
| KR100907172B1 (ko) | 2007-07-11 | 2009-07-09 | 에스케이 텔레콤주식회사 | 동영상 유통 환경에서 유해 동영상의 다단계 차단 시스템및 방법 |
| KR20110046096A (ko) * | 2009-10-28 | 2011-05-04 | (주)필링크 | 디지털 영상 수신 및 재생 장치에서의 유해 차단 모듈 |
| KR20150092546A (ko) * | 2014-02-05 | 2015-08-13 | 한국전자통신연구원 | 무해 프레임 필터 및 이를 포함하는 유해 영상 차단 장치, 무해 프레임을 필터링하는 방법 |
| KR20160107734A (ko) * | 2015-03-05 | 2016-09-19 | 한국전자통신연구원 | 동영상의 시간정보를 이용한 유해 동영상 분류방법 및 장치 |
| KR20190066218A (ko) * | 2017-12-05 | 2019-06-13 | 이원 | 유해물 관리 방법, 이를 실행하는 컴퓨팅 장치 및 컴퓨터 프로그램 |
| KR102169073B1 (ko) | 2019-09-30 | 2020-10-22 | 광운대학교 산학협력단 | 동영상 유해성 분석 결과 기반 실시간 스트리밍 차단 시스템 및 방법 |
| KR20210047086A (ko) * | 2019-10-21 | 2021-04-29 | 아주대학교산학협력단 | 전자 장치 및 이의 디스플레이 패널의 소모 전력 분석 방법 |
| KR20210133411A (ko) * | 2020-04-29 | 2021-11-08 | 한국전자통신연구원 | 스마트 기기에서의 유해 스트리밍 영상 검출 방법, 스마트 기기 및 기계 학습 단말 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117156203B (zh) * | 2023-09-19 | 2024-05-07 | 广西艺术学院 | 一种自动视频展示方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102574353B1 (ko) | 2023-09-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102169073B1 (ko) | 동영상 유해성 분석 결과 기반 실시간 스트리밍 차단 시스템 및 방법 | |
| US11166027B2 (en) | Content adaptation for streaming | |
| US10956749B2 (en) | Methods, systems, and media for generating a summarized video with video thumbnails | |
| US10194203B2 (en) | Multimodal and real-time method for filtering sensitive media | |
| US11416546B2 (en) | Content type detection in videos using multiple classifiers | |
| US11042754B2 (en) | Summarizing video content | |
| US10582211B2 (en) | Neural network to optimize video stabilization parameters | |
| KR101554387B1 (ko) | 콘텐츠 인식 멀티미디어 스트리밍을 위한 방법 및 시스템 | |
| US20120275511A1 (en) | System and method for providing content aware video adaptation | |
| US20170347159A1 (en) | Qoe analysis-based video frame management method and apparatus | |
| CN107211193A (zh) | 感知体验质量估计驱动的智能适应视频流传输方法和系统 | |
| US10755104B2 (en) | Scene level video search | |
| US20090027502A1 (en) | Portable Apparatuses Having Devices for Tracking Object's Head, and Methods of Tracking Object's Head in Portable Apparatus | |
| EP2727344B1 (en) | Frame encoding selection based on frame similarities and visual quality and interests | |
| Katsenou et al. | Efficient bitrate ladder construction for content-optimized adaptive video streaming | |
| US11508053B2 (en) | Systems and methods for compression artifact detection and remediation | |
| US11477461B2 (en) | Optimized multipass encoding | |
| CN113965777A (zh) | 组合数字视频内容的方法及系统 | |
| US20220067417A1 (en) | Bandwidth limited context based adaptive acquisition of video frames and events for user defined tasks | |
| KR102574353B1 (ko) | 모바일 단말에서 유해 동영상 차단을 위한 단말 자원 기반의 적응적 프레임 추출 및 스트리밍 제어 시스템 및 방법 | |
| EP4068779A1 (en) | Cross-validation of video encoding | |
| US20240314390A1 (en) | Electronic device, system, and method for intelligent horizontal-vertical image transform | |
| KR101804702B1 (ko) | 전송 영상의 해상도 결정 방법 및 장치 | |
| KR102387441B1 (ko) | 유해 동영상 스트리밍 실시간 대응을 위한 동영상 스트림 특성 기반의 스트리밍 제어 시스템 | |
| KR101358576B1 (ko) | 주관적/객관적 동영상 비교를 통해 사용자가 인식하는 화질 저하를 최소화 하는 동영상 트랜스코딩 최적화 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |