KR102387441B1 - 유해 동영상 스트리밍 실시간 대응을 위한 동영상 스트림 특성 기반의 스트리밍 제어 시스템 - Google Patents

유해 동영상 스트리밍 실시간 대응을 위한 동영상 스트림 특성 기반의 스트리밍 제어 시스템 Download PDF

Info

Publication number
KR102387441B1
KR102387441B1 KR1020200150577A KR20200150577A KR102387441B1 KR 102387441 B1 KR102387441 B1 KR 102387441B1 KR 1020200150577 A KR1020200150577 A KR 1020200150577A KR 20200150577 A KR20200150577 A KR 20200150577A KR 102387441 B1 KR102387441 B1 KR 102387441B1
Authority
KR
South Korea
Prior art keywords
video
harmful
frame
streaming
harmfulness
Prior art date
Application number
KR1020200150577A
Other languages
English (en)
Inventor
정광수
강정호
김민수
Original Assignee
광운대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광운대학교 산학협력단 filed Critical 광운대학교 산학협력단
Priority to KR1020200150577A priority Critical patent/KR102387441B1/ko
Application granted granted Critical
Publication of KR102387441B1 publication Critical patent/KR102387441B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

유해 동영상 스트리밍 실시간 대응을 위한 동영상 스트림 특성 기반의 스트리밍 제어 시스템 및 방법이 개시된다. 유해 동영상 스트리밍 실시간 대응을 위한 동영상 스트림 특성 기반의 스트리밍 제어 시스템은 사용자의 체감 품질(QoE)을 보장하기 위해 HTTP 적응적 스트리밍 기반의 VoD 및 Live 스트리밍 서비스 시에, 동영상 프레임 간 유사도 비교와 장면 길이 분석을 위해 SSIM 값을 계산하여 프레임 간 유사도 비교를 수행하며, 유무선 통신망을 통해 상기 프레임간 유사도 정보가 포함된 MPD 파일과 동영상 프레임을 사용자 단말로 제공하는 동영상 서버; 및 상기 동영상 서버로부터 상기 프레임간 유사도 정보가 포함된 MPD 파일과 상기 동영상 프레임을 수신받고, 상기 동영상 프레임의 적응적 프레임을 추출하여 유해성 분석, 해당 프레임이 유해성으로 판단되면 유해 프레임 구간 동안 유해 동영상 프레임 부분에 이미지 정보 평균화 방식의 모자이크 처리를 하거나, 또는 유해 동영상 스트리밍 세션 차단하는 동영 스트리밍을 제어하는 사용자 단말을 포함한다.
유해 동영상 스트리밍 실시간 대응을 위한 동영상 스트림 특성 기반의 스트리밍 제어 시스템은 HTTP 적응적 스트리밍 기반의 VoD 및 Live 스트리밍 서비스 시에, 서버로부터 사용자 단말로 동영상을 수신하고, 사용자 단말은 적응적 프레임 추출 모듈, 유해성 분석 엔진, 유해성 변화 판단 모듈, 스트리밍 제어 모듈을 포함한다. 사용자 단말의 동영상 스트리밍에 대한 실시간 대응을 위해 재생 중인 동영상 스트림의 특성에 따라 유해성 분석 결과를 기초하여 유해 동영상부분에 모자이크를 처리하거나 또는 유해 동영상 스트리밍 세션을 차단하여 스트리밍 제어를 수행하여 유해 동영상 부분의 노출을 차단한다.

Description

유해 동영상 스트리밍 실시간 대응을 위한 동영상 스트림 특성 기반의 스트리밍 제어 시스템{Streaming Control System based on Video Stream Characteristics for Real-time Response to Harmful Video Streaming}
본 발명은 유해 동영상 스트리밍 실시간 대응을 위한 동영상 스트림 특성 기반의 스트리밍 제어 시스템에 관한 것으로, 보다 상세하게는 HTTP 적응적 스트리밍 기반의 VoD 및 Live 스트리밍 서비스 시에, 서버로부터 사용자 단말로 동영상을 수신하고, 사용자 단말은 적응적 프레임 추출 모듈, 유해성 분석 엔진, 유해성 변화 판단 모듈, 스트리밍 제어 모듈을 구비하며, 사용자 단말의 동영상 스트리밍에 대한 실시간 대응을 위해 재생 중인 동영상 스트림의 특성에 따라 유해성 분석 결과에 기초하여 유해 동영상 부분에 모자이크를 처리하여 스트리밍 제어를 수행하는, 유해 동영상 스트리밍 실시간 대응을 위한 동영상 스트림 특성 기반의 스트리밍 제어 시스템에 관한 것이다.
최근, 컴퓨터와 스마트폰과 태블릿 PC의 보급이 증가함에 따라 유무선 인터넷은 PC와 스마트기기로 접속 가능한 유해 사이트, 유해 동영상들이 범람하고 있으며, 어린이나 청소년과 같이 보호가 필요한 피보호자들은 유해 사이트에 접속하거나 또는 성인 동영상이나 불법 동영상을 다운로드 받거나 유해 동영상에 노출되어 있다.
이를 해결하기 위해, 어린 자녀들과 청소년들에게 유해 사이트를 차단하고, 유해 동영상 차단 기술이 필요하다.
이와 관련된 선행기술1로써, 특허공개번호 10-2016-0116585에서는 "동영상 유해 영역 차단 방법 및 장치"가 공개되어 있다.
동영상 유해 영역 차단 장치는 입력되는 동영상의 현재 프레임이 유해한 프레임인지 판단하고, 유해한 프레임에 대하여 얼굴 및 상기 얼굴을 제외한 사람의 적어도 일부분을 검출한 후, 얼굴 및 상기 사람의 적어도 일부분 중 검출된 영역을 마스킹하며, 현재 프레임의 이후 프레임에 대해 순차적으로 직전 프레임에서 검출된 얼굴 및 사람의 적어도 일부분에 대한 정보를 초기값으로 사용하여 얼굴 및 사람의 적어도 일부분을 추적하여 추적된 영역을 마스킹한다.
이와 관련된 선행기술2로써, 특허등록번호 10-2169073에서는 "동영상 유해성 분석 결과 기반 실시간 스트리밍 차단 시스템 및 방법"이 등록되어 있다.
동영상 유해성 분석 결과 기반 실시간 스트리밍 차단 시스템 및 방법은 HTTP 적응적 스트리밍 기술이 적용된 VoD 및 실시간 스트리밍 서비스 시스템에서, 실시간 스트리밍 중인 동영상 세그먼트에서 동영상 프레임들을 추출하고, 딥러닝 기반의 유해성 분석 엔진을 사용하여 동영상 프레임 간 유사도를 유해 원본 이미지와 비교하여 각 프레임의 장면의 길이 정보와 프레임별 유해 확률을 계산하여 최종 유해 등급에 따라 스트리밍 차단을 결정하여 유해한 동영상을 차단한다.
동영상 유해성 분석 결과 기반의 실시간 스트리밍 차단 시스템은, HTTP 적응적 스트리밍을 위해 동영상 데이터를 고정된 재생 길이와 서로 다른 품질(bitrate)을 가지는 세그먼트의 형태로 인코딩하여 서버에 저장되며, 실시간 스트리밍 동영상 데이터를 제공하는 동영상 서버; 및 HTTP 적응적 스트리밍 클라이언트이 설치되며, 딥러닝 기반의 유해성 분석 엔진을 사용하여 동영상 프레임 간 유사도를 원본 이미지와 비교하여 각 프레임의 장면의 길이 정보와 프레임별 유해 확률을 계산하여 최종 유해 등급에 따라 스트리밍 차단을 결정하여 유해한 이미지를 차단하는 사용자 단말을 포함한다.
동영상 유해성 분석 결과 기반의 실시간 스트리밍 차단 방법은, (a) HTTP 적응적 스트리밍을 위해 동영상 데이터를 고정된 재생 길이와 서로 다른 품질(bitrate)을 가지는 세그먼트의 형태로 인코딩하여 동영상 서버에 저장되며, 상기 동영상 서버로부터 실시간 스트리밍 동영상 데이터를 사용자 단말로 제공하는 단계; 및 (b) 상기 사용자 단말에 HTTP 적응적 스트리밍 클라이언트가 설치되며, 딥러닝 기반의 유해성 분석 엔진을 사용하여 동영상 프레임 간 유사도를 원본 이미지와 비교하여 각 프레임의 장면의 길이 정보와 프레임별 유해 확률을 계산하여 최종 유해 등급에 따라 스트리밍 차단을 결정하여 유해한 동영상을 차단하는 단계를 포함하며,
상기 사용자 단말은 상기 HTTP 적응적 스트리밍 클라이언트가 설치되며, 상기 동영상 서버로부터 요청할 동영상에 대한 정보를 기술하는 MPD(Media Presentation Description) 파일을 다운로드하며, 측정한 네트워크 대역폭 및 단말의 상태에 따라 특정 품질(bitrate)의 동영상 세그먼트를 요청하고,
상기 딥러닝 기반의 유해성 분석 엔진은 CNN(Convolutional Neural Network) 모델을 사용하며, 동영상 세그먼트의 주어진 데이터 세트에 대하여 입력 이미지들의 특성을 학습하여 유해 원본 이미지와 비교 이미지를 비교하여 즉, 동영상 프레임 간 유사도를 상기 유해 원본 이미지와 비교하여 각 프레임의 장면의 길이 정보와 프레임별 유해 확률을 계산하고, 동영상의 유해성을 분석하여 각각의 동영상 프레임에 대한 유해 확률의 형태로 동영상 유해성 분석 결과를 동영상 스트리밍 차단 제어 모듈로 제공한다.
그러나, 네트워크 처리 기술 및 다양한 단말의 발전에 따라 현재 인터넷 트래픽의 대부분은 동영상 스트리밍 서비스로 발생한 트래픽이 차지하고 있다. 기존의 VoD 형태의 서비스뿐만 아니라 Live 스트리밍 형태로 제공되는 개인 방송 등 다양한 스트리밍 서비스가 등장하면서 불법 및 유해 동영상으로 인한 사회적 문제가 심각해지고 있다. 기존의 유해 동영상 스트리밍 대응 방식은 단순히 사용자 신고를 통해 유해 동영상 여부를 직접 확인하거나 모니터링 요원이 임의의 동영상 서비스 채널을 수동으로 모니터링을 하여 차단하는 등 비효율적인 대응 방식을 사용하였다. 이에 따라 효율적인 유해 동영상 스트리밍 대응을 위해 딥러닝을 기반으로 스트리밍 중인 동영상으로부터 자동으로 유해성을 검출하고 실시간으로 스트리밍을 제어하는 기술이 요구된다. 본 발명에서 제안하는 유해 동영상 스트리밍 대응을 위한 동영상 스트림 특성 기반의 스트리밍 제어 시스템을 통해 VoD 및 Live 스트리밍 서비스 모두에서 효율적인 유해 동영상 스트리밍 대응 기술 개발이 필요하다.
특허공개번호 10-2016-0116585 (공개일자 2016년 10월 10일), "동영상 유해 영역 차단 방법 및 장치", 한국전자통신연구원 특허등록번호 10-2169073 (등록일자 2020년 10월 16일), "동영상 유해성 분석 결과 기반 실시간 스트리밍 차단 시스템 및 방법", 광운대학교 산학협력단
상기 문제점을 해결하기 위한 본 발명의 목적은 HTTP 적응적 스트리밍 기반의 VoD 및 Live 스트리밍 서비스 시에, 서버로부터 사용자 단말로 동영상을 수신하고, 사용자 단말은 적응적 프레임 추출 모듈, 유해성 분석 엔진, 유해성 변화 판단 모듈, 스트리밍 제어 모듈을 구비하며, 사용자 단말의 동영상 스트리밍에 대한 실시간 대응을 위해 재생 중인 동영상 스트림의 특성에 따라 유해성 분석 결과에 기초하여 유해 동영상 부분에 모자이크를 처리하여 스트리밍 제어를 수행하는, 유해 동영상 스트리밍 실시간 대응을 위한 동영상 스트림 특성 기반의 스트리밍 제어 시스템을 제공한다.
삭제
본 발명의 목적을 달성하기 위해, 유해 동영상 스트리밍 실시간 대응을 위한 동영상 스트림 특성 기반의 스트리밍 제어 시스템은 사용자의 체감 품질(QoE)을 보장하기 위해 HTTP 적응적 스트리밍 기반의 VoD 및 Live 스트리밍 서비스 시에, 동영상 프레임 간 유사도 비교와 장면 길이 분석을 위해 SSIM 값을 계산하여 프레임 간 유사도 비교를 수행하며, 유무선 통신망을 통해 상기 프레임간 유사도 정보가 포함된 MPD 파일과 동영상 프레임을 사용자 단말로 제공하는 동영상 서버; 및 상기 동영상 서버로부터 상기 프레임간 유사도 정보가 포함된 MPD 파일과 상기 동영상 프레임을 수신받고, 상기 동영상 프레임의 적응적 프레임을 추출하여 유해성 분석, 해당 프레임이 유해성으로 판단되면 유해 프레임 구간 동안 유해 동영상 프레임 부분에 이미지 정보 평균화 방식의 모자이크 처리를 하거나, 또는 유해 동영상 스트리밍 세션을 차단하는 동영 스트리밍을 제어하며, 추가적으로 유해 동영상 안내 문구를 출력하도록 제어하는 사용자 단말을 포함하며,
상기 MPD 파일은 동영상 세그먼트의 재생 길이, 비트율, 저장 위치, 프레임간 유사도 정보를 포함하고,
상기 사용자 단말은 수신되는 동영상 스트림 특성이 Live인 경우에 대한 유해성 변화 판단 메커니즘을 적용하기 위해 유해 단계는 GREEN PHASE, YELLOW PHASE, RED PHASE로 분류하며,
Live 스트리밍 서비스에 대한 유해성 변화 판단 메커니즘은 각 유해 단계에 따라 실시간 유해성 분석 및 스트리밍 제어가 가능하도록 적응적으로 프레임 추출 개수 및 모자이크 처리 적용 여부를 결정하며, GREEN PHASE에서는 유해 장면에 대한 반응성을 높이기 위해 유해 프레임이 검출될 경우 즉각 반응하고, RED PHASE에서는 유해 동영상 부분의 노출을 최소화하기 위해 GREEN PHASE 대비 많은 수의 프레임에 대한 유해성 분석 결과를 확인함으로써 스트리밍 제어를 결정하며, YELLOW PHASE는 GREEN PHASE 및 RED PHASE에서 수행된 유해성 분석에 대한 오탐 여부를 확인하는 단계로 구성된다.
삭제
본 발명에 따른 유해 동영상 스트리밍 실시간 대응을 위한 동영상 스트림 특성 기반의 스트리밍 제어 시스템 및 방법은 HTTP 적응적 스트리밍 기반의 VoD 및 Live 스트리밍 서비스 시에, 서버로부터 사용자 단말로 동영상을 수신하고, 사용자 단말은 적응적 프레임 추출 모듈, 유해성 분석 엔진, 유해성 변화 판단 모듈, 스트리밍 제어 모듈을 구비하며, 사용자 단말의 동영상 스트리밍에 대한 실시간 대응을 위해 재생 중인 동영상 스트림의 특성에 따라 유해성 분석 결과에 기초하여 유해 동영상 부분에 모자이크를 처리하여 스트리밍 제어를 수행하여 유해 동영상 노출을 최소화하는 효과가 있다.
유해 동영상 스트리밍 실시간 대응을 위한 동영상 스트림 특성 기반의 스트리밍 제어 시스템은 유해 동영상 스트리밍 실시간 대응을 위한 동영상 스트림 특성 기반의 스트리밍 제어 시스템은 유해 동영상 스트리밍 실시간 대응을 위한 동영상 스트림 특성 기반의 스트리밍 제어 시스템을 통해 유해성 변화가 존재하는 스트리밍 동영상에 대해 유해성 분석 부하를 최소화할 수 있는 프레임 추출 개수를 결정하고, 유해성 프레임 검출 기간 동안 해당 시점에 모자이크 처리 형태의 스트리밍 제어를 수행함으로써 사용자에게 노출되는 유해 동영상 부분을 최소화할 수 있다.
도 1은 본 발명에 따른 유해 동영상 스트리밍 실시간 대응을 위한 동영상 스트림 특성 기반의 스트리밍 제어 시스템의 구성도이다.
도 2는 동영상 유해 단계별 프레임 추출 간격을 보인 도면이다.
도 3은 동영상 프레임 간 유사도 비교 기반의 장면 길이 분석을 보인 그림이다.
도 4는 동영상 프레임 간 유사도 비교 예시를 보민 그림이다.
도 5는 제안하는 동영상 스트림 특성 기반의 스트리밍 제어 시스템에서 사용되는 이미지 정보 평균화 방식의 모자이크 처리 예시를 보인 그림이다.
도 6은 VoD 스트리밍 서비스일 경우, 유해성 변화 판단 메커니즘을 보인 그림이다.
도 7은 Live 스트리밍 서비스에 대한 유해성 변화 판단 메커니즘을 보인 그림이다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 발명의 구성 및 동작을 상세하게 설명한다. 본 발명의 설명에 있어서 관련된 공지의 기술 또는 공지의 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 자세한 설명을 생략한다. 또한, 첨부된 도면 번호는 동일한 구성을 표기할 때에 다른 도면에서 동일한 도면번호를 부여한다.
본 발명의 유해 동영상 스트리밍 실시간 대응을 위한 동영상 스트림 특성 기반의 스트리밍 제어 시스템 및 방법은 HTTP 적응적 스트리밍 기반의 VoD 및 Live 스트리밍 서비스 시에, 서버로부터 사용자 단말로 동영상을 수신하고, 사용자 단말은 적응적 프레임 추출 모듈, 유해성 분석 엔진, 유해성 변화 판단 모듈, 스트리밍 제어 모듈을 구비하며, 사용자 단말의 동영상 스트리밍에 대한 실시간 대응을 위해 재생 중인 동영상 스트림의 특성에 따라 유해성 분석 결과에 기초하여 유해 동영상부분에 모자이크를 처리하여 스트리밍 제어(유해 동영상 부분 모자이크 처리, 유해동영상 차단 제어)를 수행한다.
유해 동영상 스트리밍 실시간 대응을 위한 동영상 스트림 특성 기반의 스트리밍 제어 시스템은 유해 동영상 스트리밍 실시간 대응을 위한 동영상 스트림 특성 기반의 스트리밍 제어 시스템을 통해 유해성 변화가 존재하는 스트리밍 동영상에 대해 유해성 분석 부하를 최소화할 수 있는 프레임 추출 개수를 결정하고, 유해성 프레임 검출 기간 동안 해당 시점에 모자이크 처리를 하는 스트리밍 제어를 함으로써 사용자에게 노출되는 유해 동영상 부분을 최소화할 수 있다.
도 1은 본 발명에 따른 유해 동영상 스트리밍 실시간 대응을 위한 동영상 스트림 특성 기반의 스트리밍 제어 시스템의 구성도이다.
유해 동영상 스트리밍 실시간 대응을 위한 동영상 스트림 특성 기반의 스트리밍 제어 시스템은 사용자의 체감 품질(QoE)을 보장하기 위해 HTTP 적응적 스트리밍 기반의 VoD 및 Live 스트리밍 서비스 시에, 동영상 프레임 간 유사도 비교와 장면 길이 분석을 위해 SSIM 값을 계산하여 프레임 간 유사도 비교를 수행하며, 유무선 통신망을 통해 상기 프레임간 유사도 정보가 포함된 MPD 파일과 동영상 프레임을 사용자 단말로 제공하는 동영상 서버; 및
상기 동영상 서버로부터 상기 프레임간 유사도 정보가 포함된 MPD 파일과 상기 동영상 프레임을 수신받고, 적응적 프레임 추출 모듈(20)에 의해 상기 동영상 프레임의 적응적 프레임을 추출하여 유해성 분석, 유해성 분석 엔진(21)과 유해성 변화 판단 모듈(22)에 의해 해당 프레임이 유해성으로 판단되면, 스트리밍 제어 모듈(23)에 의해 유해 프레임 구간 동안 유해 동영상 프레임 부분에 이미지 정보 평균화 방식의 모자이크 처리를 하거나, 또는 유해 동영상 스트리밍 세션을 차단하며, 추가적으로 유해 동영상 안내 문구를 출력하도록 동영 스트리밍을 제어하는 사용자 단말을 포함한다.
상기 MPD 파일은 동영상 세그먼트의 재생 길이, 비트율, 저장 위치, 프레임간 유사도 정보를 포함한다.
상기 사용자 단말은 수신되는 동영상 스트림 특성이 Live인 경우에 대한 유해성 변화 판단 메커니즘을 적용하기 위해 유해 단계는 GREEN PHASE, YELLOW PHASE, RED PHASE로 분류하고,
Live 스트리밍 서비스에 대한 유해성 변화 판단 메커니즘은 각 유해 단계에 따라 실시간 유해성 분석 및 스트리밍 제어가 가능하도록 적응적으로 프레임 추출 개수 및 모자이크 처리 적용 여부를 결정하며, GREEN PHASE에서는 유해 장면에 대한 반응성을 높이기 위해 유해 프레임이 검출될 경우 즉각 반응하고, RED PHASE에서는 유해 동영상 부분의 노출을 최소화하기 위해 GREEN PHASE 대비 많은 수의 프레임에 대한 유해성 분석 결과를 확인함으로써 스트리밍 제어를 결정하며, YELLOW PHASE는 GREEN PHASE 및 RED PHASE에서 수행된 유해성 분석에 대한 오탐 여부를 확인하는 단계로 구성된다.
HTTP 적응적 스트리밍에서, 상기 동영상 서버는 동영상을 고정된 재생 길이와 서로 다른 비트율을 가지는 세그먼트들로 인코딩하여 저장한다. 동영상 세그먼트에 대한 정보는 MPD(Media Presentation Description) 파일로 저장되어 스트리밍 시작 후 클라이언트로 전달된다. 클라이언트는 수신한 MPD 파일의 동영상 세그먼트 관련 정보와 측정한 네트워크 상태를 이용하여 다음에 요청할 동영상 세그먼트의 비트율(bit rate)을 결정한다.
상기 사용자 단말은
상기 동영상 서버로부터 수신된 동영상 프레임(10)과 MPD 파일의 프레임 간 유사도 정보를 이용하여 각 장면에 대한 대표 프레임을 추출하고, 이를 유해성 분석 엔진으로 전달하는 적응적 프레임 추출 모듈(20);
상기 적응적 프레임 추출 모듈(20)로부터 입력된 프레임에 대한 유해성 분석을 수행하고, 유해 이미지 학습 모델에 따라 기 저장된 사전 유해 이미지 학습에 따라 유해 여부를 판단하며 판단된 프레임의 유해 여부(유해성 분석 결과)를 유해성 변화 판단 모듈로 전달하는 딥러닝 기반 유해성 분석 엔진(21);
딥러닝 기반 유해성 분석 엔진(21)에 연결되며, 유해성 분석 엔진(21)에 의해 추출된 프레임의 유해 여부(유해성 분석 결과)에 따라 스트리밍 동영상의 유해성 변화를 판단하며, 스트리밍 제어 과정에 반영되도록 프레임별 유해 여부를 스트리밍 제어 모듈(23)로 전달하는 유해성 변화 판단 모듈(22); 및
상기 유해성 변화 판단 모듈(22)로부터 시계열적으로 프레임별 유해 여부를 수신받아, 유해 프레임 기간 동안 유해 동영상의 해당 프레임 부분에 모자이크 처리하거나 또는 유해 동영상 스트리밍 세션 차단, 추가적으로 유해 동영상 안내 문구를 출력하는 스트리밍 제어 모듈(23)을 포함한다.
상기 딥러닝 기반의 유해성 분석 엔진은 딥러닝 기반의 CNN 알고리즘을 사용한다.
또한, 본 발명의 유해 동영상 스트리밍 실시간 대응을 위한 동영상 스트림 특성 기반의 스트리밍 제어 방법은
(a) 사용자의 체감 품질(QoE)을 보장하기 위해 HTTP 적응적 스트리밍 기반의 VoD 및 Live 스트리밍 서비스 시에, 동영상 서버가 동영상 프레임 간 유사도 비교와 장면 길이 분석을 위해 SSIM 값을 계산하여 프레임 간 유사도 비교를 수행하며, 유무선 통신망을 통해 상기 프레임간 유사도 정보가 포함된 MPD 파일과 동영상 프레임(10)을 사용자 단말로 제공하는 단계; 및
(b) 상기 동영상 서버로부터 상기 사용자 단말로 프레임간 유사도 정보가 포함된 MPD 파일과 상기 동영상 프레임(10)을 수신받고, 상기 사용자 단말이 적응적 프레임 추출 모듈(20)에 의해 상기 동영상 프레임의 적응적 프레임을 추출하여 유해성 분석, 유해성 분석 엔진(21)에 의해 해당 프레임이 유해성으로 판단되면 스트리밍 제어 모듈(23)에 의해 유해 프레임 구간 동안 유해 동영상 프레임 부분에 이미지 정보 평균화 방식의 모자이크 처리를 하거나, 또는 유해 동영상 스트리밍 세션 차단하며, 추가적으로 유해 동영상 안내 문구를 출력하는 동영 스트리밍을 제어하는 단계를 포함한다.
상기 MPD 파일은 동영상 세그먼트의 재생 길이, 비트율, 저장 위치, 프레임간 유사도 정보를 포함한다.
상기 사용자 단말에서는
적응적 프레임 추출 모듈(20)에 의해 상기 동영상 서버로부터 수신된 동영상 프레임과 프레임 간 유사도 정보를 이용하여 각 장면에 대한 대표 프레임을 추출하고, 이를 유해성 분석 엔진(21)으로 전달하는 단계;
딥러닝 기반 유해성 분석 엔진(21)이 상기 적응적 프레임 추출 모듈(20)로부터 입력된 프레임에 대한 유해성 분석을 수행하고, 유해 이미지 학습 모델에 따라 기 저장된 사전 유해 이미지 학습에 따라 유해 여부를 판단하며 판단된 프레임의 유해 여부를 유해성 변화 판단 모듈(22)로 전달하는 단계;
유해성 변화 판단 모듈(22)은 유해성 분석 엔진(21)에 의해 추출된 프레임의 유해 여부(유해성 분석 결과)에 따라 스트리밍 동영상의 유해성 변화를 판단하여 스트리밍 제어 과정에 반영되도록 프레임별 유해 여부를 스트리밍 제어 모듈(23)로 전달하는 단계; 및
상기 유해성 변화 판단 모듈(22)로부터 시계열적으로 프레임별 유해 여부를 수신받아, 상기 스트리밍 제어 모듈(23)이 유해 프레임 기간 동안 유해 동영상의 해당 프레임 부분에 모자이크 처리하거나 또는 유해 동영상 스트리밍 세션 차단, 추가적으로 유해 동영상 안내 문구를 출력하는 단계를 포함한다.
동영상 스트림 특성은 VoD(Video on Demand)와 Live로 구분된다. VoD의 경우 서버에 동영상 스트림이 미리 저장되어 있고 스트리밍 서비스 사용자의 요청에 의해 사용자 단말로 전달되는 형태이며, Live의 경우 실시간으로 동영상 스트림이 생성되어 사용자 단말로 전달되는 형태이다.
사용자 단말은 적응적 프레임 추출 모듈(20), 딥러닝 기반의 유해성 분석 엔진(21), 유해성 변화 판단 모듈(22)과 스트리밍 제어 모듈(23)을 구비하며 서버로부터 수신한 동영상을 적응적 프레임 추출 모듈(20)에 의해 동영상 세그먼트의 프레임을 실시간으로 추출하여 이를 유해성 분석 엔진(21)으로 전달한다. 유해성 분석 엔진(21)은 추출 동영상 세그먼트의 프레임별 유해성 분석 결과를 유해성 변화 판단 모듈(22)로 전달하며, 유해성 변화 판단 모듈(22)은 추출 프레임별 유해성 분석 결과와 동영상 스트림 특성을 기반으로 스트리밍 중인 동영상의 유해성 변화를 판단한다. 동영상 스트림 특성이 VoD일 경우, 사용자 단말은 사전에 서버에서 분석 및 저장된 프레임 간의 유사도 비교 결과를 이용하여 추출할 프레임과 스트리밍 제어 시점을 결정한다. 반면에 동영상 스트림 특성이 Live일 경우, 현재 재생 중인 동영상의 유해성에 따라 동영상 유해 단계를 분류한다. 프레임 추출 간격은 동영상 유해 단계에 따라 다르게 설정되며, 실시간으로 유해성 분석 및 스트리밍 제어는 프레임들이 누적된 유해성 분석 결과를 고려하여 수행된다.
제안하는 유해 동영상 스트리밍 실시간 대응을 위한 동영상 스트림 특성 기반의 스트리밍 제어 시스템은 HTTP(Hyper Text Transfer Protocol) 적응적 스트리밍을 기반으로 동작한다. HTTP 적응적 스트리밍은 유무선 인터넷을 통해 동영상을 스트리밍할 때 사용자의 체감 품질(QoE)을 보장하기 위한 기술로써, 현재 네트워크 상태에 따라 요청할 동영상 세그먼트의 비트율을 적응적으로 결정하기 때문에 끊김 없는 스트리밍 서비스를 제공할 수 있다. 또한, HTTP를 기반으로 동작하기 때문에 방화벽 문제가 발생하지 않으며 기존의 웹 서버를 활용할 수 있는 장점이 있다. HTTP 적응적 스트리밍에서 서버는 동영상을 고정된 재생 길이와 서로 다른 비트율을 가지는 세그먼트들로 인코딩하여 저장한다. 동영상 세그먼트에 대한 정보는 MPD (Media Presentation Description) 파일로 저장되어 스트리밍 시작 후 클라이언트로 전달된다. 클라이언트는 수신한 MPD 파일의 동영상 세그먼트 관련 정보와 측정한 네트워크 상태를 이용하여 다음에 요청할 동영상 세그먼트의 비트율(bit rate)을 결정한다.
유해 동영상 스트리밍 실시간 대응을 위한 동영상 스트림 특성 기반의 스트리밍 제어 시스템에서 추출된 프레임에 대한 유해성 분석을 수행하는 딥러닝 기반의 유해성 분석 엔진은 CNN(Convolutional Neural Network) 모델로 구성된다. CNN 모델의 경우 입력된 이미지에 대한 특성을 학습하는 것에 특화되어 있으며, 유해성 분석 엔진은 이를 이용하여 유해한 이미지와 유해하지 않은 이미지를 구분할 수 있도록 사전에 학습된다. 사용자 단말에서 추출된 프레임이 유해성 분석 엔진으로 전달될 경우 유해성 분석 엔진은 분석 결과로 해당 프레임의 유해 여부와 유해성 분석에 소요된 시간을 출력한다. 본 발명에서 제안하는 내용은 유해성 변화가 존재하는 스트리밍 동영상에 대해 실시간으로 대응하기 위한 적응적 프레임 추출 및 스트리밍 제어 메커니즘에 대한 것으로 설명서에는 유해성 분석 엔진이 입력 이미지의 유해 여부를 판단하는 구체적인 메커니즘에 대해서는 기술하지 않는다. 또한, 특별한 언급이 없는 경우 살인, 폭력, 포르노 등의 유해 동영상은 미성년자에게 부적합한 음란성을 가진 동영상을 의미한다.
도 1은 본 발명에서 제안하는 유해 동영상 스트리밍 실시간 대응을 위한 동영상 스트림 특성 기반의 스트리밍 제어 시스템 구조를 나타낸다.
동영상 스트림이 VoD일 경우 사용자 단말은 스트리밍 시작 후 서버로부터 MPD 파일과 프레임 간 유사도 비교 결과에 대한 정보를 수신한다. 프레임 간 유사도 비교는 유사도 값이 사전에 설정된 임계값 이하의 값을 가질 때까지 기준 프레임과 연속된 프레임을 비교하는 방식으로 수행된다. 기준 프레임과 비교된 프레임의 유사도가 임계값 이하의 값을 가지게 되는 경우 동영상 내에서 장면이 바뀌었다는 것을 의미하기 때문에 이 경우 기준 프레임을 교체한 후 유사도 비교 과정을 반복한다. 따라서, 임계값 이하의 유사도 값을 가지는 프레임은 한 장면의 대표 프레임을 의미하며 해당 장면의 길이는 대표 프레임부터 시작하여 대표 프레임과의 유사도가 임계값보다 낮은 프레임까지로 볼 수 있다.
사용자 단말은 적응적 프레임 추출 모듈(20)에 의해 서버로부터 수신된 동영상 프레임과 프레임 간 유사도 정보를 이용하여 각 장면에 대한 대표 프레임을 추출하고, 이를 유해성 분석 엔진(21)으로 전달한다. 유해성 분석 엔진(21)은 입력된 프레임에 대한 유해성 분석을 수행하고 유해 여부를 유해성 변화 판단 모듈(22)로 전달한다. 유해성 변화 판단 모듈(22)은 추출된 프레임의 유해 여부에 따라 스트리밍 동영상의 유해성 변화를 판단하고 스트리밍 제어 과정에 반영한다. VoD와 다르게 동영상 내의 프레임 간 유사도를 사전에 분석할 수 없는 Live 동영상 스트림의 경우 유해성 변화 판단 모듈에서 추출된 프레임의 유해 여부에 따라 동영상 유해 단계를 GREEN PHASE, YELLOW PHASE, RED PHASE로 분류하고 단계별로 프레임 추출 간격을 다르게 설정한다.
도 2는 동영상 유해 단계별 프레임 추출 간격을 나타낸다. 동영상 스트림 특성이 Live인 경우, 사용자 단말은 동영상 유해 단계별로 설정된 프레임 추출 간격에 따라 실시간으로 프레임을 추출하고 유해성 분석 엔진(21)으로 전달한다. 추출 프레임별 유해성 분석 결과는 동영상 유해 단계 판단과 스트리밍 제어를 위해 누적값 형태로 저장된다. 스트리밍 제어 모듈은 동영상 스트림 특성이 VoD일 경우에는 현재 동영상 부분이 유해하다고 판단됐을 때, Live일 경우에는 YELLOW PHASE와 RED PHASE일 때 실시간 모자이크 처리 형태로 스트리밍 제어를 수행한다. 스트리밍 제어 모듈은 추출되는 프레임의 정보를 손상시키지 않기 위해 재생 중인 프레임에 임의의 레이어를 추가하는 방식으로 모자이크 처리를 적용한다.
도 3은 동영상 스트림 특성이 VoD인 경우 서버에서 수행되는 동영상 프레임 간 유사도 비교 기반의 장면 길이 분석을 나타낸다. 동영상 세그먼트에는 프레임 레이트에 따라 다른 수의 프레임들이 포함된다. 제안하는 시스템에서는 프레임 레이트가 30이고 동영상 세그먼트의 재생 길이가 2초로 고정된 경우를 가정한다. 동영상 세그먼트는 수 초 정도의 재생 길이를 가지는 작은 동영상 조각 단위로 하나 혹은 두 개 이상의 장면을 포함할 수 있다. 제안하는 시스템에서는 VoD에서 최소한의 프레임으로도 유해성 분석이 가능하도록 프레임을 추출하기 위해 동영상 세그먼트 내에 포함된 장면들을 프레임 간 유사도 비교를 통해 구분하고 장면 변화의 기준이 되는 프레임들을 추출한다. 따라서, 동영상 프레임 간 유사도 비교 결과는 각 동영상 프레임이 포함되는 장면이 구분된 결과를 나타낸다. 첫 번째로 추출된 동영상 프레임이 포함된 장면의 길이
Figure 112020120943690-pat00001
은 4이며, 두 번째로 추출된 동영상 프레임이 포함된 장면의 길이
Figure 112020120943690-pat00002
는 3, 그리고 세 번째와 네 번째로 추출된 동영상 프레임이 포함된 장면의 길이
Figure 112020120943690-pat00003
와
Figure 112020120943690-pat00004
는 각각 6과 3이다.
도 4는 도 3에서 제시한 동영상 서버가 동영상 프레임 간 유사도 비교 기반의 장면 길이 분석을 위해 SSIM(Structural Similarity; 구조적 유사도 지수) 값을 계산하여 프레임 간 유사도 비교를 수행하는 예시를 나타낸다. SSIM은 주로 2D 이미지에 대한 지각 품질 평가에서 사용되는 대표적인 메트릭으로, 사람의 시각 시스템은 이미지로부터 구조 관련 정보를 도출하는데 특화되어 있기 때문에 이미지 구조의 왜곡 정도가 지각 품질에 가장 큰 영향을 준다는 가정에 근거하여 계산되는 메트릭이다. 따라서, SSIM 값은 유사도 비교 대상이 되는 두 이미지의 각 픽셀에 대한 밝기 정보와 왜곡 정보를 이용하여 계산된다. 본 발명에서 제안하는 동영상 스트림 특성 기반의 스트리밍 제어 시스템은 SSIM 값을 기반으로 추출된 동영상 프레임 간의 유사도를 비교한다. 그림 4에 나타난 것처럼 추출된 동영상 프레임 중 10번째 프레임과 11번째 프레임에 대한 SSIM 값은 0.7 임계값 이하의 0.4795로 작은 값을 가진다. SSIM 값이 작을 경우 제안하는 동영상 스트림 특성 기반의 스트리밍 제어 시스템은 해당 프레임들이 서로 다른 장면에 포함된다고 판단한다. 반면 11번째 동영상 프레임과 12번째 동영상 프레임에 대한 SSIM 값은 0.7 임계값 이상의 0.8258로 큰 값을 가지기 때문에 이 경우 해당 프레임들이 같은 장면에 포함된다고 판단한다. 도 4의 예시는 유사도 비교 기반의 동영상 프레임 추출이 어떤 방식으로 동작하는지 보여주기 위한 예시로, 제안하는 동영상 스트림 특성 기반의 스트리밍 제어 시스템에서 동영상 세그먼트 내에 포함된 여러 장면을 구분하고 각 장면을 대표하는 프레임을 추출하는 메커니즘과는 차이가 존재한다. 본 발명에서 장면 변화의 기준은 인접한 동영상 프레임 간의 유사도를 비교할 때 SSIM 값이 크게 변하는 부분이 된다. 예를 들면, 도 3에서 첫 번째로 추출된 동영상 프레임이 포함된 장면의 경우 추출된 프레임과 유사한 프레임들이 모여 있는 장면으로 볼 수 있다. 반면 두 번째로 추출된 동영상 프레임이 포함된 장면의 경우 첫 번째로 추출된 동영상 프레임이 포함된 장면과 비교할 때 SSIM 값이 크게 변하는 프레임부터 시작되는 장면으로 볼 수 있다.
원본 이미지를
Figure 112020120943690-pat00005
, 비교 이미지를
Figure 112020120943690-pat00006
라고 할 때 SSIM 값을 계산하기 위해 우선 두 이미지의 픽셀들에 대한 평균 밝기 I(x,y)를 다음 수식과 같이 계산한다.
Figure 112020120943690-pat00007
는 원본 이미지
Figure 112020120943690-pat00008
의 평균 밝기,
Figure 112020120943690-pat00009
는 비교 이미지
Figure 112020120943690-pat00010
의 평균 밝기, 그리고
Figure 112020120943690-pat00011
은 이미지 밝기 상수를 의미한다. 해당 수식에 의해 계산되는 값은 원본 이미지와 비교 이미지의 평균 밝기를 종합하여 두 이미지의 평균 밝기를 나타낼 수 있도록 정규화된 값을 의미한다.
Figure 112020120943690-pat00012
두 이미지의 픽셀들에 대한 평균 밝기 I(x,y)를 계산한 후에는 각 이미지의 표준편차 값을 이미지의 콘트라스트 값
Figure 112020120943690-pat00013
으로 정의하고, 두 이미지의 표준편차 값을 다음 수식과 같이 계산한다.
Figure 112020120943690-pat00014
는 원본 이미지
Figure 112020120943690-pat00015
의 밝기 표준편차,
Figure 112020120943690-pat00016
는 비교 이미지
Figure 112020120943690-pat00017
의 밝기 표준 편차, 그리고
Figure 112020120943690-pat00018
는 이미지 콘트라스트 상수를 의미한다. 두 이미지의 평균 밝기를 계산하는 수식과 마찬가지로, 해당 수식에 의해 계산되는 값은 원본 이미지와 비교 이미지의 밝기 표준편차를 종합하여 두 이미지의 콘트라스트를 나타낼 수 있도록 정규화된 값을 의미한다.
Figure 112020120943690-pat00019
이미지 콘트라스트 c(x,y)를 계산한 후에는 두 이미지 간의 밝기 공분산과 밝기 표준편차를 이용하여 이미지 구조 지수 s(x,y)의 값을 다음 수식과 같이 계산한다. 밝기 공분산
Figure 112020120943690-pat00020
는 각 이미지의 밝기 정보가 서로 얼마나 연관성이 있는지를 나타내기 위한 값이며
Figure 112020120943690-pat00021
는 이미지 구조 상수를 의미한다. 해당 수식에 의해 계산되는 값은 두 이미지 각각의 밝기 표준편차 대비 두 이미지 사이의 연관된 밝기 표준 편차의 값의 상대적 비율을 의미한다.
Figure 112020120943690-pat00022
이미지 구조 상수
Figure 112020120943690-pat00023
는 이미지 콘트라스트 상수
Figure 112020120943690-pat00024
를 이용하여 다음 수식과 같이 계산된다. 이미지 콘트라스트를 계산하는 과정이 이미지의 밝기 표준편차를 포함하기 때문에 이미지 구조 지수를 계산하는 과정과 연관성이 있으며, 다만 이미지 구조 지수 계산에는 밝기 공분산을 사용하기 때문에 상수항으로 인한 편향을 줄이기 위해 해당 수식과 같이 이미지 구조 상수를 계산하게 된다.
Figure 112020120943690-pat00025
최종적으로 SSIM 값은 두 이미지의 평균 밝기 I(x,y), 이미지의 콘트라스트 값 c(x,y), 그리고 이미지 구조 지수 s(x,y)를 종합하여 다음 수식과 같이 계산된다. 이때 사용되는 가중치
Figure 112020120943690-pat00026
,
Figure 112020120943690-pat00027
,
Figure 112020120943690-pat00028
의 값은 모두 1로 설정된다. 해당 수식이 의미하는 바는 사람의 지각 품질에 영향을 주는 각 요소를 모두 반영하여 원본 이미지와 비교 이미지 간의 유사도를 비교하겠다는 것으로, 가중치가 모두 1로 설정되었기 때문에 SSIM 계산에 있어서 각 요소가 모두 같은 영향력을 가지게 된다.
Figure 112020120943690-pat00029
동영상 스트림 특성이 VoD일 경우 제안하는 동영상 스트림 특성 기반의 스트리밍 제어 시스템은 서버에서 동영상의 인접한 두 프레임에 대해 SSIM 값을 계산하고, 계산된 SSIM 값을 특정 임계값과 비교하여 유사 장면 여부를 판단한다. 도 3에서 유사도 비교를 기반으로 각 장면을 구분하기 위한 특정 임계값은 0.7을 사용하였다. 또한, 동영상 프레임 간의 유사도 비교 결과를 이용하여 그림 3과 같이 동영상 세그먼트 내에 포함된 프레임들을 장면 단위로 분류하고 각 장면의 길이를 분석하여 적응적 프레임 추출 및 실시간 스트리밍 제어에 사용한다.
도 5는 제안하는 동영상 스트림 특성 기반의 스트리밍 제어 시스템에서 사용되는 이미지 정보 평균화 방식의 모자이크 처리 예시를 나타낸다. 유해 동영상 스트리밍 실시간 대응을 위해 단말은 재생 중인 동영상 프레임 위에 임의의 레이어를 추가한 후 여러 개의 격자 셀로 프레임 내의 구역을 나눈다. 모자이크 처리는 격자 셀로 나누어진 프레임 내의 구역에 포함된 픽셀들의 이미지 정보를 평균화하는 방식으로 수행된다. 따라서, 격자 셀의 개수가 적을 경우 모자이크 처리 효과가 커지지만 이미지 정보에 대한 평균화 과정이 복잡해지기 때문에 처리 시간이 증가하며 격자 셀의 개수가 많을 경우 처리 시간은 감소하나 유해 동영상 노출을 효과적으로 줄일 수 있을 정도로 모자이크 처리 효과가 나타나지 않는다. 본 발명에서 제안하는 시스템이 사용하는 모자이크 처리 방식의 경우 재생 중인 동영상 프레임의 이미지 정보에 직접 접근하지 않고 임의의 레이어를 추가하는 방식으로 수행되기 때문에 추출된 동영상 프레임의 정보 손상 없이 유해성 분석이 가능한 장점이 있다.
도 6은 동영상 스트림 특성이 VoD일 경우, 유해성 변화 판단 메커니즘을 나타낸다. 유해성 변화 판단 모듈에서 한 장면에 대한 유해성은 해당 장면을 대표하는 동영상 프레임의 유해성 분석 결과에 따라 정해진다. 실시간 모자이크 처리 형태의 스트리밍 제어는 유해성 변화 판단 결과에 따라 현재 동영상 부분이 유해하다고 판단될 경우 즉시 적용된다. 그러나, 특정 장면이 유해하다고 판단되었지만 해당 결과가 유해성 분석 엔진의 오탐에 의한 결과일 경우 유해 부분이 아님에도 불구하고 모자이크 처리가 적용되어 사용자 입장에서 스트리밍 서비스 품질이 저하되는 문제가 있다. 따라서, 본 발명에서 제안하는 동영상 스트림 특성 기반의 스트리밍 제어 시스템은 유해성 분석 엔진의 오탐에 의한 문제를 해결하기 위해 정해진 개수의 장면 내에서 과반수 이상의 장면이 유해할 경우 현재 동영상 부분이 유해하다고 판단한다. 스트리밍 제어를 적용하는 기간은 현재 동영상 부분이 유해하다고 판단된 시점에서부터 해당 시점에서 재생 중인 장면의 다음 장면까지이며, 다음 장면 역시 유해하다고 판단될 경우 스트리밍 제어 적용 기간을 갱신한다. 다음 장면이 무해하다고 판단될 경우에는 해당 장면부터 정해진 개수의 장면 내에서 과반수 이상의 장면이 무해할 경우 모자이크 처리를 해제한다.
도 7은 동영상 스트림 특성이 Live인 경우에 대한 유해성 변화 판단 메커니즘을 나타낸다. 동영상 스트림 특성 기반의 스트리밍 제어 시스템은 유해 단계에 따라 설정된 간격으로 동영상 프레임을 추출한다.
사용자 단말은 동영상 스트림 특성이 Live인 경우에 대한 유해성 변화 판단 메커니즘을 적용하기 위해 유해 단계는 GREEN PHASE, YELLOW PHASE, RED PHASE로 분류한다.
유해 단계가 GREEN PHASE일 경우 프레임 추출 및 유해성 분석에 의한 부하를 최소화하기 위해 각 동영상 세그먼트마다 4개의 프레임을 추출하며 유해성 분석 결과는
Figure 112022013688868-pat00030
와
Figure 112022013688868-pat00031
라는 형태로 저장된다. 본 발명에서 하나의 동영상 세그먼트는 60개의 프레임으로 이루어졌다고 가정하였으며, 재생 길이는 2초가 된다. 동영상에서 추출된 프레임 중 유해 프레임이 검출될 경우 유해성 분석 엔진(21)의 오탐에 의한 결과인지 아니면 정상적인 유해성 분석 결과인지 확인하기 위해 YELLOW PHASE로 진입한다.
유해 단계가 RED PHASE일 경우 지속적으로 짧은 간격으로 프레임을 추출했을 때 발생할 수 있는 부하를 최소화하고 유해 장면의 노출시간을 최소화하기 위해 GREEN PHASE보다 짧은 간격으로 프레임을 추출한다. RED PHASE에서는 각 동영상 세그먼트마다 6개의 프레임을 추출하며
Figure 112022013688868-pat00032
와
Figure 112022013688868-pat00033
라는 형태로 유해성 분석 결과를 저장한다. 이 때,
Figure 112022013688868-pat00034
이 미리 설정한 임계(본 발명에서는 0.5)를 초과할 경우 YELLO PHASE로 진입한다. Live 스트리밍 서비스에 대한 유해성 변화 판단 메커니즘의 핵심은 각 유해 단계에 따라 실시간 유해성 분석 및 스트리밍 제어가 가능하도록 적응적으로 프레임 추출 개수 및 모자이크 처리 적용 여부를 결정하는 것에 있다. GREEN PHASE에서는 유해 장면에 대한 반응성을 높이기 위해 유해 프레임이 검출될 경우 즉각 반응하고, RED PHASE에서는 유해 동영상 부분의 노출을 최소화하기 위해 GREEN PHASE 대비 많은 수의 프레임에 대한 유해성 분석 결과를 확인함으로써 스트리밍 제어를 결정한다. YELLOW PHASE는 GREEN PHASE 및 RED PHASE에서 수행된 유해성 분석에 대한 오탐 여부를 확인하는 단계로써, 유해 단계 중 가장 많은 수의 프레임을 추출한다. 본 발명에서는 YELLOW PHASE에서의 프레임 추출 개수를 유해성 분석 엔진의 분석 시간을 고려하여 12개로 설정하였다. YELLOW PHASE의 구간 길이는 다음과 같은 수식으로 결정된다.
Figure 112020120943690-pat00035
Figure 112022013688868-pat00036
은 세그먼트의 재생 길이를 의미한다. 누적된 유해성 분석 결과에서 유해 프레임 검출 결과가 과반수를 차지할 경우 제안하는 동영상 스트림 특성 기반의 스트리밍 제어 시스템은 재생 중인 동영상이 전체적으로 유해한 경향을 가지고 있다고 판단하여 YELLOW PHASE의 길이를 감소시킨다. 이는 재생 중인 동영상이 전체적으로 유해한 경향을 가지고 있고, 이전 유해 단계에서 얻은 유해성 분석 결과가 유해할 경우 추출된 프레임에 대한 유해성 분석 결과가 유해성 분석 엔진의 오탐에 의한 결과일 가능성이 줄어들기 때문이다. 반대로 누적된 유해성 분석 결과에서 무해 프레임 검출 결과가 과반수를 차지할 경우 제안하는 동영상 스트림 특성 기반의 스트리밍 제어 시스템은 재생 중인 동영상이 전체적으로 무해한 경향을 가지고 있다고 판단하여 유해성 분석 엔진의 오탐 여부를 판단하기 위한 YELLOW PHASE의 구간 길이를 증가시킨다. 따라서, 본 발명에서 제안하는 시스템은 Live 스트리밍 서비스에 대하여 재생 중인 동영상의 유해한 경향에 따라 적응적으로 유해성 변화 판단 구간의 길이를 결정함으로써 유해 동영상 부분에 대한 노출 시간을 최소화할 수 있다.
본 발명에서 제안하는 유해 동영상 스트리밍 실시간 대응을 위한 동영상 스트림 특성 기반의 스트리밍 제어 시스템은 동영상 스트림 특성을 사전에 동영상에 대한 장면 정보 분석이 가능한 VoD와 분석이 불가능한 Live로 구분한다. 제안하는 시스템은 각 동영상 스트림 특성에 적합한 프레임 추출 및 유해성 변화 판단을 통해 유해 동영상 부분에 대한 노출을 최소화할 수 있는 효율적인 스트리밍 제어를 하는 것을 목표로 한다. 동영상 스트림 특성이 VoD일 경우 서버에서 사전에 분석된 프레임 간 유사도 비교 결과를 통해 분석된 장면 길이와 각 장면의 대표 프레임에 대한 정보를 적응적 프레임 추출 및 스트리밍 제어에 활용한다. 동영상 스트림 특성이 Live일 경우 실시간으로 추출된 동영상 프레임에 대한 유해성 분석 결과를 누적하고 동영상의 유해 단계를 분류하여 각 유해 단계별로 프레임 추출 개수와 스트리밍 제어 여부를 결정한다. 본 발명의 유해 동영상 스트리밍 실시간 대응을 위한 동영상 스트림 특성 기반의 스트리밍 제어 시스템에서 사용되는 여러 임계의 경우 스트리밍 서비스를 제공하는 서비스 사업자의 기호에 따라 값을 다르게 설정할 수 있다. 또한, 제안하는 유해 동영상 스트리밍 실시간 대응을 위한 동영상 스트림 특성 기반의 스트리밍 제어 시스템에서 스트리밍 제어 방식으로 사용하는 유해 동영상 부분에 모자이크 처리 외에 유해 동영상 스트리밍 세션 차단, 동영상 품질 저하, 유해 동영상 안내 문구 출력과 같은 다양한 방식을 적용할 수 있다.
본 발명에 따른 실시예들은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되고 컴퓨터 판독 가능 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 기록 매체는 프로그램 명령, 데이터 파일, 데이터 구조를 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 기록 매체는 스토리지, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 저장 매체에 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치가 포함될 수 있다.　프로그램 명령의 예는 컴파일러에 의해 만들어지는 것과, 기계어 코드뿐만 아니라 인터프리터를 사용하여 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.　상기 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로써 작동하도록 구성될 수 있다.
이상에서 설명한 바와 같이, 본 발명의 방법은 프로그램으로 구현되어 컴퓨터의 소프트웨어를 이용하여 읽을 수 있는 형태로 기록매체(CD-ROM, RAM, ROM, 메모리 카드, 하드 디스크, 광자기 디스크, 스토리지 디바이스 등)에 저장될 수 있다.
본 발명의 구체적인 실시예를 참조하여 설명하였지만, 본 발명은 상기와 같이 기술적 사상을 예시하기 위해 구체적인 실시 예와 동일한 구성 및 작용에만 한정되지 않고, 본 발명의 기술적 사상과 범위를 벗어나지 않는 한도 내에서 다양하게 변형하여 실시될 수 있으며, 본 발명의 범위는 후술하는 특허청구범위에 의해 결정되어야 한다.
10: 동영상 스트림(VoD, Live Streaming)
20: 적응적 프레임 추출 모듈
21: 유해성 분석 엔진
22: 유해성 변화 모듈
23: 스트리밍 제어 모듈

Claims (18)

  1. 사용자의 체감 품질(QoE)을 보장하기 위해 HTTP 적응적 스트리밍 기반의 VoD 및 Live 스트리밍 서비스 시에, 동영상 프레임 간 유사도 비교와 장면 길이 분석을 위해 SSIM 값을 계산하여 프레임 간 유사도 비교를 수행하며, 유무선 통신망을 통해 상기 프레임간 유사도 정보가 포함된 MPD 파일과 동영상 프레임을 사용자 단말로 제공하는 동영상 서버; 및
    상기 동영상 서버로부터 상기 프레임간 유사도 정보가 포함된 MPD 파일과 상기 동영상 프레임을 수신받고, 상기 동영상 프레임의 적응적 프레임을 추출하여 유해성 분석, 해당 프레임이 유해성으로 판단되면 유해 프레임 구간 동안 유해 동영상 프레임 부분에 이미지 정보 평균화 방식의 모자이크 처리를 하거나, 또는 유해 동영상 스트리밍 세션을 차단하는 동영 스트리밍을 제어하며, 추가적으로 유해 동영상 안내 문구를 출력하도록 제어하는 사용자 단말을 포함하며,
    상기 MPD 파일은 동영상 세그먼트의 재생 길이, 비트율, 저장 위치, 프레임간 유사도 정보를 포함하고,
    상기 사용자 단말은 수신되는 동영상 스트림 특성이 Live인 경우에 대한 유해성 변화 판단 메커니즘을 적용하기 위해 유해 단계는 GREEN PHASE, YELLOW PHASE, RED PHASE로 분류하며,
    Live 스트리밍 서비스에 대한 유해성 변화 판단 메커니즘은 각 유해 단계에 따라 실시간 유해성 분석 및 스트리밍 제어가 가능하도록 적응적으로 프레임 추출 개수 및 모자이크 처리 적용 여부를 결정하며, GREEN PHASE에서는 유해 장면에 대한 반응성을 높이기 위해 유해 프레임이 검출될 경우 즉각 반응하고, RED PHASE에서는 유해 동영상 부분의 노출을 최소화하기 위해 GREEN PHASE 대비 많은 수의 프레임에 대한 유해성 분석 결과를 확인함으로써 스트리밍 제어를 결정하며, YELLOW PHASE는 GREEN PHASE 및 RED PHASE에서 수행된 유해성 분석에 대한 오탐 여부를 확인하는 단계로 구성되는, 유해 동영상 스트리밍 실시간 대응을 위한 동영상 스트림 특성 기반의 스트리밍 제어 시스템.
  2. 삭제
  3. 제1항에 있어서,
    상기 동영상 서버는 동영상 프레임 간 유사도 비교 기반의 장면 길이 분석을 위해 SSIM (Structural Similarity; 구조적 유사도 지수) 값을 계산하여 SSIM 값을 기반으로 추출된 동영상 프레임 간 유사도를 비교하며,
    원본 이미지를
    Figure 112022013688868-pat00037
    , 비교 이미지를
    Figure 112022013688868-pat00038
    라고 할 때 SSIM 값을 계산하기 위해 우선 두 이미지의 픽셀들에 대한 평균 밝기 I(x,y)를 다음 수식과 같이 계산하고,
    Figure 112022013688868-pat00039

    여기서,
    Figure 112022013688868-pat00040
    는 원본 이미지
    Figure 112022013688868-pat00041
    의 평균 밝기,
    Figure 112022013688868-pat00042
    는 비교 이미지
    Figure 112022013688868-pat00043
    의 평균 밝기, 그리고
    Figure 112022013688868-pat00044
    은 이미지 밝기 상수이며,
    두 이미지의 픽셀들에 대한 평균 밝기 I(x,y)를 계산한 후, 각 이미지의 표준편차 값을 이미지의 콘트라스트 값
    Figure 112022013688868-pat00045
    으로 정의하고, 두 이미지의 표준편차 값을 다음 수식과 같이 계산하고,
    Figure 112022013688868-pat00046

    여기서,
    Figure 112022013688868-pat00047
    는 원본 이미지
    Figure 112022013688868-pat00048
    의 밝기 표준편차,
    Figure 112022013688868-pat00049
    는 비교 이미지
    Figure 112022013688868-pat00050
    의 밝기 표준 편차, 그리고
    Figure 112022013688868-pat00051
    는 이미지 콘트라스트 상수이며,
    이미지 콘트라스트 c(x,y)를 계산한 후, 두 이미지 간의 밝기 공분산과 밝기 표준편차를 이용하여 이미지 구조 지수 s(x,y)의 값을 다음 수식과 같이 계산하고,
    Figure 112022013688868-pat00052

    여기서, 밝기 공분산
    Figure 112022013688868-pat00053
    는 각 이미지의 밝기 정보가 서로 얼마나 연관성이 있는지를 나타내기 위한 값이며,
    Figure 112022013688868-pat00054
    는 이미지 구조 상수이며, 해당 수식에 의해 계산되는 값은 두 이미지 각각의 밝기 표준편차 대비 두 이미지 사이의 연관된 밝기 표준 편차의 값의 상대적 비율을 의미하며,
    이미지 구조 상수
    Figure 112022013688868-pat00055
    는 이미지 콘트라스트 상수
    Figure 112022013688868-pat00056
    를 이용하여 다음 수식과 같이 계산되고,
    Figure 112022013688868-pat00057

    최종적으로 SSIM 값은 두 이미지의 평균 밝기 I(x,y), 이미지의 콘트라스트 값 c(x,y), 그리고 이미지 구조 지수 s(x,y)를 종합하여 다음 수식과 같이 SSIM 값이 계산되며,
    Figure 112022013688868-pat00058

    이때 사용되는 가중치
    Figure 112022013688868-pat00059
    ,
    Figure 112022013688868-pat00060
    ,
    Figure 112022013688868-pat00061
    의 값은 모두 1로 설정되는, 유해 동영상 스트리밍 실시간 대응을 위한 동영상 스트림 특성 기반의 스트리밍 제어 시스템.
  4. 제3항에 있어서,
    동영상 스트림 특성이 VoD일 경우 제안하는 동영상 스트림 특성 기반의 스트리밍 제어 시스템은 상기 동영상 서버에서 동영상의 인접한 두 프레임에 대해 SSIM 값을 계산하고, 계산된 SSIM 값을 특정 임계값과 비교하여 유사 장면 여부를 판단하며, 서버에서 유사도 비교를 기반으로 각 장면을 구분하는 특정 임계값은 0.7을 사용하였으며, 동영상 프레임 간의 유사도 비교 결과를 이용하여 동영상 세그먼트 내에 포함된 프레임들을 장면 단위로 분류하고 각 장면의 길이를 분석하여 적응적 프레임 추출 및 실시간 스트리밍 제어에 사용되는, 유해 동영상 스트리밍 실시간 대응을 위한 동영상 스트림 특성 기반의 스트리밍 제어 시스템.
  5. 제1항에 있어서,
    상기 사용자 단말은
    상기 동영상 서버로부터 수신된 동영상 프레임과 프레임 간 유사도 정보를 이용하여 각 장면에 대한 대표 프레임을 추출하고, 이를 유해성 분석 엔진으로 전달하는 적응적 프레임 추출 모듈;
    상기 적응적 프레임 추출 모듈로부터 입력된 프레임에 대한 유해성 분석을 수행하고, 유해 이미지 학습 모델에 따라 기 저장된 사전 유해 이미지 학습에 따라 유해 여부를 판단하며 판단된 프레임의 유해 여부(유해성 분석 결과)를 유해성 변화 판단 모듈로 전달하는 딥러닝 기반 유해성 분석 엔진;
    상기 유해성 분석 엔진에 의해 추출된 프레임의 유해 여부(유해성 분석 결과)에 따라 스트리밍 동영상의 유해성 변화를 판단하며, 스트리밍 제어 과정에 반영되도록 프레임별 유해 여부를 스트리밍 제어 모듈로 전달하는 유해성 변화 판단 모듈; 및
    상기 유해성 변화 판단 모듈로부터 시계열적으로 프레임별 유해 여부를 수신받아, 유해 프레임 기간 동안 유해 동영상의 해당 프레임 부분에 모자이크 처리하거나 또는 유해 동영상 스트리밍 세션 차단, 추가적으로 유해 동영상 안내 문구를 출력하는 스트리밍 제어 모듈을 포함하는 유해 동영상 스트리밍 실시간 대응을 위한 동영상 스트림 특성 기반의 스트리밍 제어 시스템.
  6. 제5항에 있어서,
    상기 딥러닝 기반의 유해성 분석 엔진은 딥러닝 기반의 CNN 알고리즘을 사용하는, 유해 동영상 스트리밍 실시간 대응을 위한 동영상 스트림 특성 기반의 스트리밍 제어 시스템.
  7. 제5항에 있어서,
    동영상 스트림 특성이 VoD일 경우, 상기 사용자 단말은 사전에 상기 동영상 서버에서 분석 및 저장된 프레임 간의 유사도 비교 결과를 이용하여 추출할 프레임과 스트리밍 제어 시점을 결정하고, 반면에 동영상 스트림 특성이 Live일 경우, 현재 재생 중인 동영상의 유해성에 따라 동영상 유해 단계를 분류하며,
    상기 유해성 변화 판단 모듈에서 한 장면에 대한 유해성은 해당 장면을 대표하는 동영상 프레임의 유해성 분석 결과에 따라 정해지며, 상기 스트리밍 제어 모듈의 실시간 모자이크 처리 형태의 스트리밍 제어는 유해성 변화 판단 결과에 따라 현재 동영상 부분이 유해하다고 판단될 경우 즉시 적용되며, 유해성 분석 엔진의 오탐에 의한 문제를 해결하기 위해 정해진 개수의 장면 내에서 과반수 이상의 장면이 유해할 경우 현재 동영상 부분이 유해하다고 판단하며, 스트리밍 제어를 적용하는 기간은 현재 동영상 부분이 유해하다고 판단된 시점에서부터 해당 시점에서 재생 중인 장면의 다음 장면까지이며, 다음 장면 역시 유해하다고 판단될 경우 스트리밍 제어 적용 기간을 갱신하고, 다음 장면이 무해하다고 판단될 경우 해당 장면부터 정해진 개수의 장면 내에서 과반수 이상의 장면이 무해할 경우 모자이크 처리를 해제하는, 유해 동영상 스트리밍 실시간 대응을 위한 동영상 스트림 특성 기반의 스트리밍 제어 시스템.
  8. 삭제
  9. 제5항에 있어서,
    상기 스트리밍 제어 모듈은 동영상 스트림 특성이 VoD일 경우 현재 동영상 부분이 유해하다고 판단됐을 때, Live일 경우 YELLOW PHASE와 RED PHASE일 때 실시간 모자이크 처리 형태로 스트리밍 제어를 수행하며, 상기 스트리밍 제어 모듈은 추출되는 프레임의 정보를 손상시키지 않기 위해 재생 중인 프레임에 임의의 레이어를 추가하는 방식으로 모자이크 처리를 하는, 유해 동영상 스트리밍 실시간 대응을 위한 동영상 스트림 특성 기반의 스트리밍 제어 시스템.
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
KR1020200150577A 2020-11-11 2020-11-11 유해 동영상 스트리밍 실시간 대응을 위한 동영상 스트림 특성 기반의 스트리밍 제어 시스템 KR102387441B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200150577A KR102387441B1 (ko) 2020-11-11 2020-11-11 유해 동영상 스트리밍 실시간 대응을 위한 동영상 스트림 특성 기반의 스트리밍 제어 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200150577A KR102387441B1 (ko) 2020-11-11 2020-11-11 유해 동영상 스트리밍 실시간 대응을 위한 동영상 스트림 특성 기반의 스트리밍 제어 시스템

Publications (1)

Publication Number Publication Date
KR102387441B1 true KR102387441B1 (ko) 2022-04-14

Family

ID=81211278

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200150577A KR102387441B1 (ko) 2020-11-11 2020-11-11 유해 동영상 스트리밍 실시간 대응을 위한 동영상 스트림 특성 기반의 스트리밍 제어 시스템

Country Status (1)

Country Link
KR (1) KR102387441B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110080224A (ko) * 2010-01-05 2011-07-13 (주)필링크 유해 동영상 검출장치 및 그 방법
KR20160116585A (ko) 2015-03-30 2016-10-10 한국전자통신연구원 동영상 유해 영역 차단 방법 및 장치
KR20190066218A (ko) * 2017-12-05 2019-06-13 이원 유해물 관리 방법, 이를 실행하는 컴퓨팅 장치 및 컴퓨터 프로그램
KR102169073B1 (ko) 2019-09-30 2020-10-22 광운대학교 산학협력단 동영상 유해성 분석 결과 기반 실시간 스트리밍 차단 시스템 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110080224A (ko) * 2010-01-05 2011-07-13 (주)필링크 유해 동영상 검출장치 및 그 방법
KR20160116585A (ko) 2015-03-30 2016-10-10 한국전자통신연구원 동영상 유해 영역 차단 방법 및 장치
KR20190066218A (ko) * 2017-12-05 2019-06-13 이원 유해물 관리 방법, 이를 실행하는 컴퓨팅 장치 및 컴퓨터 프로그램
KR102169073B1 (ko) 2019-09-30 2020-10-22 광운대학교 산학협력단 동영상 유해성 분석 결과 기반 실시간 스트리밍 차단 시스템 및 방법

Similar Documents

Publication Publication Date Title
KR102169073B1 (ko) 동영상 유해성 분석 결과 기반 실시간 스트리밍 차단 시스템 및 방법
US10452919B2 (en) Detecting segments of a video program through image comparisons
US10956749B2 (en) Methods, systems, and media for generating a summarized video with video thumbnails
US20220030244A1 (en) Content adaptation for streaming
CN110519177B (zh) 一种网络流量识别方法及相关设备
US11416546B2 (en) Content type detection in videos using multiple classifiers
JP6198484B2 (ja) ビデオシーケンスのイメージをリフレーミングする方法及び装置
EP2727344B1 (en) Frame encoding selection based on frame similarities and visual quality and interests
US11695978B2 (en) Methods for generating video-and audience-specific encoding ladders with audio and video just-in-time transcoding
US11924482B2 (en) Method for on-demand video editing at transcode-time in a video streaming system
TW202201969A (zh) 用於對有害視頻文件進行過濾的裝置及方法
KR102574353B1 (ko) 모바일 단말에서 유해 동영상 차단을 위한 단말 자원 기반의 적응적 프레임 추출 및 스트리밍 제어 시스템 및 방법
CN111031032A (zh) 云端视频转码方法及装置、解码方法及装置、及电子设备
KR102387441B1 (ko) 유해 동영상 스트리밍 실시간 대응을 위한 동영상 스트림 특성 기반의 스트리밍 제어 시스템
EP4068779A1 (en) Cross-validation of video encoding
US20230011518A1 (en) Method for just-in-time transcoding of byterange-addressable parts
KR102308303B1 (ko) 유해 동영상 파일을 필터링 하기 위한 장치 및 방법
CN111818338B (zh) 一种异常显示检测方法、装置、设备及介质
Wilk et al. VAS: A video adaptation service to support mobile video
US11297365B2 (en) Adaptive bitrate video testing from screen recording
US20230224518A1 (en) Method for just-in-time transcoding of byterange-addressable parts
KR101928340B1 (ko) 모바일 장치를 위한 워터마킹 방법 및 그 모바일 장치
Arsenović et al. Quality of Experience Assessment for HTTP Based Adaptive Video Streaming.
KR20240016801A (ko) 저지연 스트리밍을 위해 동영상을 적응적으로 인코딩하는 방법 및 컴퓨팅 장치
CN117729350A (zh) 一种视频数据处理方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant