KR102540817B1 - 머신러닝 기반 실시간 비디오 방송 품질 평가 방법, 장치 및 프로그램 - Google Patents

머신러닝 기반 실시간 비디오 방송 품질 평가 방법, 장치 및 프로그램 Download PDF

Info

Publication number
KR102540817B1
KR102540817B1 KR1020220010680A KR20220010680A KR102540817B1 KR 102540817 B1 KR102540817 B1 KR 102540817B1 KR 1020220010680 A KR1020220010680 A KR 1020220010680A KR 20220010680 A KR20220010680 A KR 20220010680A KR 102540817 B1 KR102540817 B1 KR 102540817B1
Authority
KR
South Korea
Prior art keywords
video
quality
feature
frame
features
Prior art date
Application number
KR1020220010680A
Other languages
English (en)
Inventor
우제학
조광현
김희진
우주한
Original Assignee
(주) 플레이오니
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 플레이오니 filed Critical (주) 플레이오니
Priority to KR1020220010680A priority Critical patent/KR102540817B1/ko
Application granted granted Critical
Publication of KR102540817B1 publication Critical patent/KR102540817B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2407—Monitoring of transmitted content, e.g. distribution time, number of downloads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/02—Diagnosis, testing or measuring for television systems or their details for colour television signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics

Abstract

머신러닝을 기반으로 하여 실시간으로 비디오 방송 품질을 평가하는 장치로서, 데이터 전송 형식에 따라 미리 정해진 프로토콜을 기반으로 송출되고 있는 각 방송의 각 채널의 압축된 비디오 스트림 데이터를 수신하는 스트림 수신기; 상기 압축된 비디오 스트림을 복원하여 비디오 프레임을 생성하는 디코더; 머신러닝 기술을 기반으로 다양한 비디오 데이터셋을 이용하여 학습된 모델을 구비하고, 비디오 프레임을 선택하고, 입력된 비디오 프레임에 대해 미리 정해진 시간 주기별로 특징을 추출하여, 비디오의 품질 점수값을 평가하는 비디오 품질 평가기; 및 각 채널별 현재 품질 점수 및 품질 점수 추이를 사람이 인지할 수 있도록 출력하고, 채널별 품질 점수 데이터를 기록하고 조회할 수 있도록 제공하는 비디오 품질 모니터;가 포함되어 이루어짐을 특징으로 하는, 머신러닝 기반 실시간 비디오 방송 품질 평가 장치가 제공된다..

Description

머신러닝 기반 실시간 비디오 방송 품질 평가 방법, 장치 및 프로그램 {REAL-TIME EVALUATION METHOD, APPARATUS AND PROGRAM OF VIDEO BROADCASTING QUALITY BASED ON MACHIME LEANING}
본 발명은, 머신러닝 기반 실시간 비디오 방송 품질 평가 방법, 장치 및 프로그램에 관한 것으로서, 보다 상세히는, 서비스 전송망을 통해 공급되는 비디오 방송의 품질을 머신러닝에 기반하여 실시간으로 평가할 수 있는 방법, 장치 및 프로그램에 관한 것이다.
실시간 비디오 방송 서비스는, 지상파TV, 케이블TV, 위성TV, IPTV, OTT(Over The Top) 서비스 등과 같이 다양한 형태로 발전해 오고 있다. 거의 모든 방송 서비스는, 도 1과 같은 기본 구조를 가진다.
여기서, 각 채널의 비디오 스트림은, 일반적으로 여러 PP(program provider) 송출단(51)으로부터 공급을 받는다. 이 채널들은 SO(system operator) 수신단(52)에서 수신되어, 헤드엔드 시스템(53)을 통해 통합되고 송출단(54)으로 송출된다. 그리고 NO(network operator)는, 자신의 전송망(55)을 통하여 비디오 스트림을 시청자 수신기(56)에 전달한다. 이러한 PP, SO, NO는, 여러가지 형태로 조합될 수 있고, 여러 회사에 의해 운영될 수 있다.
하기 특허문헌에는, 방송 각 단계별 묵음, 무음, 잡음을 구분하여, 오디오 품질을 정형화된 데이터값으로 나타내어, 방송 제공자에게 알려주는 기술을 제공한다.
특허공개 10-2008-0053444 공보
일반적으로 방송 품질을 관리하기 위해서, 도 1의 ①, ②, 또는 ③ 위치에서 비디오 스트림에 대한 모니터링을 진행하고 있다. 그러나, 모든 데이터에 대한 모니터링은 불가능하고, 현실은 전체 화면을 축약하여 디스플레이하고 신호 감쇠나 오디오 누락 등과 같은 단순한 항목에 대한 자동 검출만이 가능한 상황이라는 문제가 있다.
또한, 기본적으로, 하나의 방송 서비스가 제공하는 채널 수가, 수백개 정도에 이르고 있는 것이 현실이다. 그래서, 전체 서비스 품질을 관리하기 위해서는, 사람이 24시간, 365일 비디오 화질에 대한 모니터링을 수행해야 하지만, 현실적으로 이는 불가능한 상황이다. 따라서, 사람의 개입 없이 자동으로 각 채널에 대한 비디오 화질을 평가하는 비디오 방송 품질 평가 시스템을, 도 1의 ①, ②, 또는 ③ 위치에 설치하여 운영할 필요성이 대두되고 있다.
여기서, 자동 비디오 방송 품질 평가 시스템은 다음의 특성을 가질 필요가 있다.
1. 방송이라는 속성상, 원본 비디오라는 개념이 있을 수 없기 때문에, 원본과의 화질 비교 방식으로는 품질 평가를 할 수 없다. 따라서, 비교 방식이 아닌 진보된 방식의 품질 평가 방법이 요망된다.
2. 각 방송 채널의 비디오 전송이 실시간으로 이루어지기 때문에, 품질 평가 결과 또한 실시간으로 제공되어야 한다.
3. 사람이 통상적으로 인지하는 비디오 품질에 대한 주관적 평가를, 사람의 개입 없이 수행할 수 있어야 한다.
본 발명은, 상기 과제를 달성하기 위한 것으로서, 사람이 갖고 있는 비디오 품질 평가 능력을 그대로 모델링하는, 딥러닝 및 머신러닝 기술 기반으로 구현되는 실시간 비디오 방송 품질 평가 방법, 장치 및 프로그램을 제공하고자 하는 것이다.
또한, 방송에 대해 비교 방식이 아닌 진보된 방식의 품질 평가 방법을 제공하는, 머신러닝 기반 실시간 비디오 방송 품질 평가 방법, 장치 및 프로그램을 제공하고자 하는 것이다.
또한, 실시간으로 이루어지는 각 방송 채널의 비디오 전송에 대해, 품질 평가 결과 또한 실시간으로 제공될 수 있는, 머신러닝 기반 실시간 비디오 방송 품질 평가 방법, 장치 및 프로그램을 제공하고자 하는 것이다.
또한, 사람이 통상적으로 인지하는 비디오 품질에 대한 주관적 평가를, 사람의 개입 없이 수행할 수 있는, 머신러닝 기반 실시간 비디오 방송 품질 평가 방법, 장치 및 프로그램을 제공하고자 하는 것이다.
상기 과제를 달성하기 위한 본 발명의 장치는, 머신러닝을 기반으로 하여 실시간으로 비디오 방송 품질을 평가하는 장치로서, 데이터 전송 형식에 따라 미리 정해진 프로토콜을 기반으로 송출되고 있는 각 방송의 각 채널의 압축된 비디오 스트림 데이터를 수신하는 스트림 수신기; 상기 압축된 비디오 스트림을 복원하여 비디오 프레임을 생성하는 디코더; 머신러닝 기술을 기반으로 다양한 비디오 데이터셋을 이용하여 학습된 모델을 구비하고, 비디오 프레임을 선택하고, 입력된 비디오 프레임에 대해 미리 정해진 시간 주기별로 특징을 추출하여, 비디오의 품질 점수값을 평가하는 비디오 품질 평가기; 및 각 채널별 현재 품질 점수 및 품질 점수 추이를 사람이 인지할 수 있도록 출력하고, 채널별 품질 점수 데이터를 기록하고 조회할 수 있도록 제공하는 비디오 품질 모니터;가 포함되어 이루어짐을 특징으로 한다.
여기서, 상기 비디오 품질 평가기는, 비디오를 구성하는 비디오 프레임 중 중요도가 높은 대표 프레임들을 선별 선택하는 프레임 선택기; 각 비디오 프레임의 특징을 추출하여 특징 벡터를 생성하기 위한 딥러닝 모델로 구현되는 프레임 특징 추출기; 및 추출된 비디오 프레임의 특징 벡터의 변화 특성을 학습하여, 미리 정해진 시간 주기별로 비디오 프레임의 최종 품질 점수를 평가하는 딥러닝 또는 머신러닝 모델로 구현되는 비디오 품질 회귀기;가 포함되어 이루어질 수 있다.
여기서, 상기 프레임 특징 추출기는, 비디오 프레임의 특징의 추출 정확도를 높이기 위해, 복수의 모델을 병렬로 사용하여 각 특징 벡터를 구한 후, 각 모델의 결과를 통합하여 상기 특징 벡터를 생성하는 통합기;가 포함되어 이루어질 수 있다.
여기서, 상기 복수의 모델은, 어떤 이미지가 다른 이미지와 구분되는 일반 특징 또는 의미적 특징을 추출하는 딥러닝 모델인 범용 특성 특징 추출기; 비디오가 최초 제작될 때부터 가지고 있는 품질 특징을 추출하는 딥러닝 모델인 제작 품질 특징 추출기; 비디오에 적용된 압축 정도에 따라 변화되는 품질 특징을 추출하는 딥러닝 모델인 압축 품질 특징 추출기; 및 비디오가 다단계에 걸쳐서 전송될 때 발생 가능한 오류에 의해 열화된 품질 특징을 추출하는 딥러닝 모델인 전송 품질 특징 추출기; 중 적어도 하나가 포함되어 이루어질 수 있다.
그리고 상기 통합기는, 상기 복수의 모델을 통해 생성된 특징 벡터들을 연결하여 이루어지는 특징 벡터인 하나의 연결 벡터를 산출할 수 있다.
한편, 상기 과제를 달성하기 위한 본 발명의 방법은, 머신러닝을 기반으로 하여 실시간으로 비디오 방송 품질을 평가하는 방법으로서, 데이터 전송 형식에 따라 미리 정해진 프로토콜을 기반으로 송출되고 있는 각 방송의 각 채널의 압축된 비디오 스트림 데이터를 수신하는 스트림 수신단계; 상기 압축된 비디오 스트림을 복원하여 비디오 프레임을 생성하는 디코딩 단계; 머신러닝 기술을 기반으로 다양한 비디오 데이터셋을 이용하여 학습된 모델을 구비하고, 비디오 프레임을 선택하고, 입력된 비디오 프레임에 대해, 미리 정해진 시간 주기별로 특징을 추출하여 비디오의 품질 점수값을 평가하는 비디오 품질 평가단계; 및 각 채널별 현재 품질 점수 및 품질 점수 추이를 사람이 인지할 수 있도록 출력하고, 채널별 품질 점수 데이터를 기록하고 조회할 수 있도록 제공하는 비디오 품질 모니터링단계;가 포함되어 이루어짐을 특징으로 한다.
한편, 상기 과제를 달성하기 위한 본 발명의 프로그램은, 정보기기에 상기에 기재된 방법의 각 단계를 실행시키기 위한 정보기기용 프로그램을 기록한, 정보기기로 읽을 수 있는 저장매체에 기록된 정보기기용 프로그램이다.
본 발명에 의하면, 사람이 갖고 있는 비디오 품질 평가 능력을 그대로 모델링하는, 딥러닝 및 머신러닝 기술 기반으로 구현되는 실시간 비디오 방송 품질 평가 방법, 장치 및 프로그램이 제공된다.
또한, 방송에 대해 비교 방식이 아닌 진보된 방식의 품질 평가 방법을 제공하는, 머신러닝 기반 실시간 비디오 방송 품질 평가 방법, 장치 및 프로그램이 제공된다.
또한, 실시간으로 이루어지는 각 방송 채널의 비디오 전송에 대해, 품질 평가 결과 또한 실시간으로 제공될 수 있는, 머신러닝 기반 실시간 비디오 방송 품질 평가 방법, 장치 및 프로그램이 제공된다.
또한, 사람이 통상적으로 인지하는 비디오 품질에 대한 주관적 평가를, 사람의 개입 없이 수행할 수 있는, 머신러닝 기반 실시간 비디오 방송 품질 평가 방법, 장치 및 프로그램이 제공된다.
도 1은, 일반적인 비디오 방송 데이터의 전송망의 블럭도이다.
도 2는, 상기 전송망에 적용될 수 있는 본 발명의 일실시예에 의한 머신러닝 기반 실시간 비디오 방송 품질 평가 장치의 블럭도이다.
도 3은, 일반 특성 특징의 비교예 프레임 이미지이다.
도 4는, 제작 품질 특징의 비교예 프레임 이미지이다.
도 5는, 압축 품질 특징의 비교예 프레임 이미지이다.
도 6은, 전송 품질 특징의 비교예 프레임 이미지이다.
이하, 첨부도면을 참조하면서 본 발명에 대해 상세히 설명한다. 다만, 동일구성에 의해 동일기능을 가지는 부재에 대해서는, 도면이 달라지더라도 동일부호를 유지함으로써, 그 상세한 설명을 생략하는 경우가 있다.
또한, 어떤 부재의 전후, 좌우, 상하에 다른 부재가 배치되거나 연결되는 관계는, 그 중간에 별도 부재가 삽입되는 경우를 포함한다. 반대로, 어떤 부재가 다른 부재의 '바로' 전후, 좌우, 상하에 있다고 할 때에는, 중간에 별도 부재가 없는 것을 뜻한다. 그리고 어떤 부분이 다른 구성요소를 '포함'한다고 할 때, 이는 특별히 반대되는 기재가 없는 한, 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
그리고 구성의 명칭을 제1, 제2 등으로 구분한 것은, 그 구성이 동일한 관계로 이를 구분하기 위한 것으로, 반드시 그 순서에 한정되는 것은 아니다. 또한, 명세서에 기재된 '유닛', '수단', '부', '부재', '모듈' 등의 용어는, 적어도 하나의 기능이나 동작을 하는 포괄적인 구성의 단위를 의미한다. 그리고 명세서에 기재된 단말, 서버 등의 정보처리기기는, 특정한 기능이나 동작이 구현된 하드웨어를 의미하는 하드 와이어링을 기본적으로 의미하지만, 특정한 하드웨어에 한정되도록 해석되어서는 안되고, 일반 범용 하드웨어 상에 그 특정한 기능이나 동작이 구현되도록 하기 위해 구동되는 소프트웨어로 이루어지는 소프트 와이어링을 배제하는 것이 아니다. 즉, 단말 또는 서버는, 어떤 장치가 될 수도 있고, 앱과 같이, 어떤 기기에 설치되는 소프트웨어가 될 수도 있다.
그리고 도면에 나타난 각 구성의 크기 및 두께는, 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도면에 도시된 바에 한정되지 않으며, 층 및 영역 등의 여러 부분 및 영역을 명확하게 표현하기 위해 두께 등은 과장하여 확대 또는 축소하여 나타낸 경우가 있다.
<기본구성 - 장치>
본 발명의 장치는, 머신러닝을 기반으로 하여 실시간으로 비디오 방송 품질을 평가하는 장치이다. 본 발명의 장치는, 도 2와 같이, 스트림 수신기(10); 디코더(20); 비디오 품질 평가기(30); 및 비디오 품질 모니터(40);가 포함되어 이루어짐을 특징으로 한다.
상기 스트림 수신기(10, Stream Receiver)는, 데이터 전송 형식에 따라 미리 정해진 프로토콜을 기반으로 송출되고 있는 각 방송의 각 채널의 압축된 비디오 스트림 데이터를 수신하는 기기이다. 상기 프로토콜은 예컨대, TCP(Transmission Control Protocol), UDP(User Datagram Protocol), RTP(Real-time Transport Protocol), HLS(HTTP Live Streaming), MPEG-DASH 등이 될 수 있다.
상기 스트림 수신기(10)를 통해 수신되는 비디오 스트림은, 모든 종류의 영상이 가능하다. 영화, 드라마, 예능, 다큐, 만화 등 영상의 장르에 상관없이 모든 영상에 대해 평가 대상으로 수신할 수 있다. 비디오의 내용, 유형, 손상, 왜곡의 심각도에 관계없이 모든 영상에 대해 평가 대상으로 수신할 수 있다.
상기 디코더(20, Decoder)는, 상기 압축된 비디오 스트림을 복원하여 비디오 프레임을 생성하는 기기이다.
상기 비디오 품질 평가기(30, VQA: Video Quality Assessor)는, 머신러닝 기술을 기반으로 다양한 비디오 데이터셋을 이용하여 학습된 모델을 구비하고, 비디오 프레임을 선택하고, 입력된 비디오 프레임에 대해 미리 정해진 시간 주기별로 특징을 추출하여, 비디오의 품질 점수값을 평가하는 기기이다.
상기 비디오 품질 평가기(30)는, 미리 지정한 시간 주기별로 품질을 평가한다. 지정된 시간 주기는, 예컨대 1초, 5초, 10초, 30초, 1분, 5분 등으로 원하는 시간으로 변경이 가능하다. 채널 별로 적합한 시간 주기마다 품질 평가가 가능하다.
상기 비디오 품질 모니터(40, VQM: Video Quality Monitor)는, 각 채널별 현재 품질 점수 및 품질 점수 추이를 사람이 인지할 수 있도록 출력하고, 채널별 품질 점수 데이터를 기록하고 조회할 수 있도록 제공하는 기기이다.
상기 비디오 품질 모니터(40)는, 채널에 대한 다양한 품질 점수 데이터를 제공한다. 각 채널별 현재 주기의 품질 점수를 제공할 수 있다. 각 채널별 품질 점수 추이를 화면에 출력할 수 있다. 품질 점수는, 0~100점, 0~5점 등 다양한 척도로 제공될 수 있다.
<효과>
스트림 수신기(10)를 통해 방송에서 송출되고 있는 압축된 비디오 스트림 데이터를 수신한다. 그리고 디코더(20)를 통해 압축된 비디오 스트림을 복원하여 비디오 프레임을 생성한 후, 비디오 품질 평가기(30)에 전달한다. 비디오 품질 평가기(30)를 사용하여 비디오 프레임을 선택하고 특징 벡터를 추출하여 비디오 품질 점수값을 평가한다. 비디오 품질 평가기(30)로부터 얻은 비디오 품질 점수를 비디오 품질 모니터(40)를 통해 다양한 형태로 사용자에게 제공할 수 있다.
<비디오 품질 평가기의 구체예>
상기 비디오 품질 평가기(30, VQA)는, 프레임 선택기(31); 프레임 특징 추출기(32); 및 비디오 품질 회귀기(33);가 포함되어 이루어질 수 있다. 상기 비디오 품질 평가기(30)는, 도 2와 같이 3단계 과정을 통해, 입력되는 비디오에 대한 품질 점수를 평가할 수 있다.
상기 프레임 선택기(31, Effective Frame Selector)는, 비디오를 구성하는 비디오 프레임 중 중요도가 높은 대표 프레임들을 선별 선택하는 기기이다. 일반적으로 연속한 프레임들 사이의 정보 변화량은 크지 않다. 따라서, 대표 프레임에 대한 테스트만으로, 해당 비디오 스트림에 대한 품질 평가를 도출할 수 있다.
상기 프레임 선택기(31)는, 중요도가 높다고 판단된 프레임들만을 상기 프레임 특징 추출기(32)에게 넘겨준다. 이때, 프레임의 중요도는, 예컨대 프레임 간의 MAE(Mean Absolute Error) 등을 통해 계산할 수 있다. 예컨대, 사전에 지정한 임계값보다 MAE가 큰 경우에 해당 프레임을 선택하는 방식으로 동작할 수 있다.
상기 프레임 특징 추출기(32, Frame Feature Extractor)는, 각 비디오 프레임의 특징을 추출하여 특징 벡터를 생성하기 위한 딥러닝 모델로 구현되는 기기이다. 이 모델을 학습하기 위하여, 다양한 이미지 품질을 갖는 데이터셋을 이용할 수 있다. 상기 특징 벡터는, 각 비디오 프레임의 특징을 잘 표현하는 속성의 양 뿐만 아니라 방향까지도 나타내는 벡터이다.
상기 프레임 특징 추출기(32)는, 지정된 시간 주기 전까지, 범용 특성 특징 추출기, 제작 품질 특징 추출기, 압축 품질 특징 추출기, 전송 품질 특징 추출기 등 여러 특징 추출기를 통해, 프레임의 의미적 특징, 다양한 제작 품질 요소 특징, 압축 및 전송 품질 특징들을 뽑아내어, 특징 벡터를 생성한다.
각 추출기로부터 얻은 특징 벡터들을 하나로 이어 붙여서, 상기 비디오 품질 회귀기(33)에 전달할 수 있다.
상기 프레임 특징 추출기(32) 모델로는, 다양한 딥러닝 신경망 구조가 사용될 수 있다.
ImageNet, VGG, MobileNet, ResNet 등 다양한 구조의 CNN(Convolutional Neural Network) 모델이 사용될 수 있다. 입력 데이터의 특성을 잠재(latent) 특징(feature)공간으로 매핑(mapping)시키는 AE(AutoEncoder) 같은 모델을 사용하는 것도 가능하다. AE의 확장 모델인 VAE(Variational AutoEncoder)를 이용하여 추출된 특징이 잠재 공간 내에서 확률 분포를 갖도록 모델링할 수 있다. 유사하게, GAN(Generative Adversarial Network)을 이용하여 확률 분포에 기반한 잠재 벡터가 생성되도록 모델링하는 것도 가능하다.
데이터의 기본 특성 및 추출하고자 하는 특징에 따라, 이상의 여러 모델을 조합하여 사용하는 것 또한 가능하다. 이상의 모든 모델은, 직접 학습시키거나 사전 학습(pretrained)된 모델을 가져와서 전이 학습(transfer learning)할 수도 있다.
상기 비디오 품질 회귀기(33, Video Quality Regressor)는, 추출된 비디오 프레임의 특징 벡터의 변화 특성을 학습하여, 미리 정해진 시간 주기별로 비디오 프레임의 최종 품질 점수를 평가하는 딥러닝 또는 머신러닝 모델로 구현되는 기기이다.
정해진 시간 주기가 되면, 상기 비디오 품질 회귀기(33)는, 상기 프레임 특징 추출기(32)로부터 생성된 특징 벡터를 이용하여 비디오 프레임의 품질 점수를 평가한다.
상기 비디오 품질 회귀기(33)는, 다양한 딥러닝 혹은 머신러닝 모델로 구현될 수 있다.
딥러닝 모델 중 LSTM(Long Short Term Memory)이나 GRU(Gated Recurrent Unit) 같은 RNN(Recurrent Neural Network) 계열이 사용될 수 있다. 그리고 Linear Regressor, SVR(Support Vector Regressor) 등과 같은 머신러닝 모델이 사용될 수 있다.
<프레임 특징 추출기의 구체예>
상기 프레임 특징 추출기(32)는, 도 2와 같이, 비디오 프레임의 특징의 추출 정확도를 높이기 위해, 복수의 모델을 병렬로 사용하여 각 특징 벡터를 구한 후, 각 모델의 결과를 통합하여 상기 특징 벡터를 생성하는 통합기(32x);가 포함되어 이루어짐을 특징으로 하는, 머신러닝 기반 실시간 비디오 방송 품질 평가 장치로 구현될 수 있다.
<복수의 모델의 구체예>
상기 복수의 모델은, 범용 특성 특징 추출기(32a); 제작 품질 특징 추출기(32b); 압축 품질 특징 추출기(32c); 및 전송 품질 특징 추출기(32d); 중 적어도 하나가 포함되어 이루어질 수 있다.
상기 범용 특성 특징 추출기(32a)는, 어떤 이미지가 다른 이미지와 구분되는 일반 특징 또는 의미적 특징을 추출하는 딥러닝 모델인 기기이다. 상기 일반 특징은, 이미지가 일반적으로 다른 이미지와 구분되도록 갖고 있는 특징이다.
상기 일반 특징에는, 비디오의 의미적(Semantic) 특징이 포함될 수 있다. 도 3의 비교 예시에 있어서, (a)의 경우는 의미적 내용(객체)이 포함되어 있지 않다. (b)의 경우는 의미적 내용(탑)이 포함되어 있지만, 의미가 선명하지 않다. (c)의 경우는, 의미적 내용(탑)이 포함되어 있고, 또한 의미도 선명하다.
즉, 도 3의 비교예의 각 예시들은, 범용 특성 특징 추출기(32a)에 의해 서로 다른 특징 벡터를 가진다. 비교예 중 의미적 내용이 선명하게 포함되어 있는 (c)가 가장 높은 품질로 평가될 수 있다.
범용 특성 특징 추출기(32a)의 모델로는, 예컨대 사전 학습된 VGG, MobileNet 등의 CNN 구조를 사용할 수 있다
상기 제작 품질 특징 추출기(32b)는, 비디오가 최초 제작될 때부터 가지고 있는 품질 특징, 즉 제작 유래의 특징을 추출하는 딥러닝 모델인 기기이다.
상기 제작 품질 특징에는, 선명도(Sharpness), 입자성(Graininess), 휘도(Luminance), 채도(Saturation) 등의 다양한 품질 특징이 포함될 수 있다.
도 4의 비교도에서, (a)에 비해 (b)가 선명도, 입자성, 채도가 높고, 밝기가 낮다는 특징이 있다. 이 (a)와 (b) 두 예시는, 제작 품질 특징 추출기(32b)에 의해 서로 다른 특징 벡터를 가질 수 있다.
제작 품질 특징 추출기(32b)는, 예컨대 VGG 등 다양한 CNN 구조를 학습시켜 구현할 수 있다. 또한, AutoEncoder, VAE 등을 활용하여 self-supervised learning 방식을 사용할 수도 있다. 이 외에도, 여러 품질 특징을 반영하고 있는 데이터셋을 추가하여 학습할 수 있다.
상기 압축 품질 특징 추출기(32c)는, 비디오에 적용된 압축 정도에 따라 변화되는 품질 특징, 즉 압축 기인 특징을 추출하는 딥러닝 모델인 기기이다.
상기 압축 품질 특징은, 비디오의 압축으로 인해 변화된 품질 특징이 포함될 수 있다.
도 5의 (a)에 비해 (b)의 품질이 열화되어 있다. 이 (a)와 (b) 두 예시는, 상기 압축 품질 특징 추출기(32c)에 의해 서로 다른 특징 벡터를 가질 수 있다.
상기 압축 품질 특징 추출기(32c)는, 압축으로 인해 변화된 품질 특징을 반영하여, (a)에 비해 (b)를 더 안 좋은 품질로 판단할 수 있다.
상기 압축 품질 특징 추출기(32c)는, 예컨대 VGG 등의 CNN 구조를 학습시켜 구현할 수 있다. 또한, AutoEncoder, VAE 등을 활용하여 self-supervised learning 방식을 사용할 수도 있다.
상기 전송 품질 특징 추출기(32d)는, 비디오가 다단계에 걸쳐서 전송될 때 발생 가능한 오류에 의해 열화된 품질 특징을 추출하는 딥러닝 모델인 기기이다.
상기 전송 품질 특징은, 비디오의 전송과정에서 발생하는 오류에 의해 열화된 품질 특징이 포함될 수 있다.
도 6의 비교도에서, (b)의 경우 일부 픽셀이 손상되어 있다.
위 (a)와 (b) 두 예시는, 상기 전송 품질 특징 추출기(32d)에 의해 서로 다른 특징 벡터를 가질 수 있다.
상기 전송 품질 특징 추출기(32d)는, 전송과정에서 발생한 오류에 의해 열화된 품질 특징을 반영하여, (a)에 비해 (b)를 더 안 좋은 품질로 판단할 수 있다.
상기 전송 품질 특징 추출기(32d)는, 예컨대 VGG 등의 CNN 구조를 학습시켜 구현할 수 있다. 또한, AutoEncoder, VAE 등을 활용하여 self-supervised learning 방식을 사용할 수도 있다.
상기 복수의 모델은, 이상의 모델 이외에도 필요에 따라 추가적인 모델을 병렬로 삽입할 수 있다. 또한, 여러 특징 추출기를 하나의 모델로 통합하는 것도 가능할 수 있다. 즉, 여러 특징 추출기를 다양한 형태로 합하여 하나의 모델로 구현하는 것이 가능하다. 예를 들어, 범용 특성과 제작 품질 특징 추출기를 하나의 모델로 구현 가능할 수 있다. 또한, 처리 속도를 빠르게 하기 위하여 전체 특징 추출기를 하나의 모델로 구현하여 학습시키는 것도 가능할 수 있다.
상기 프레임 특징 추출기(32)의 복수의 모델들은, 다양한 특징들을 반영할 수 있다. 각 특징 추출기들은, 서로 반영하는 특징들이 다르기 때문에, 동일한 프레임에 대해 서로 다른 특징 벡터를 추출할 수 있다.
상기 통합기(32x)는, 상기 복수의 모델을 통해 생성된 특징 벡터들을 연결하여 이루어지는 특징 벡터인 하나의 연결 벡터를 산출할 수 있다. 즉, 각각의 모델을 통해 생성된 특징 벡터들을 단순히 연결하여, 하나의 종합 특징 벡터를 생성할 수 있다.
<방법>
상기 본 발명의 방법은, 머신러닝을 기반으로 하여 실시간으로 비디오 방송 품질을 평가하는 방법이다. 상기 본 발명의 방법은, 스트림 수신단계(10); 디코딩 단계(20); 비디오 품질 평가단계(30); 및 비디오 품질 모니터링단계(40);가 포함되어 이루어짐을 특징으로 한다.
상기 스트림 수신단계(10)는, 데이터 전송 형식에 따라 미리 정해진 프로토콜을 기반으로 송출되고 있는 각 방송의 각 채널의 압축된 비디오 스트림 데이터를 수신하는 단계이다.
상기 디코딩 단계(20)는, 상기 압축된 비디오 스트림을 복원하여 비디오 프레임을 생성하는 단계이다.
상기 비디오 품질 평가단계(30)는, 머신러닝 기술을 기반으로 다양한 비디오 데이터셋을 이용하여 학습된 모델을 구비하고, 비디오 프레임을 선택하고, 입력된 비디오 프레임에 대해, 미리 정해진 시간 주기별로 특징을 추출하여 비디오의 품질 점수값을 평가하는 단계이다.
상기 비디오 품질 모니터링단계(40)는, 각 채널별 현재 품질 점수 및 품질 점수 추이를 사람이 인지할 수 있도록 출력하고, 채널별 품질 점수 데이터를 기록하고 조회할 수 있도록 제공하는 단계이다.
<프로그램>
한편, 본 발명의 프로그램은, 정보기기에 상기에 기재된 방법의 각 단계를 실행시키기 위한 정보기기용 프로그램이다. 상기 프로그램은, 정보기기로 읽을 수 있는 저장매체에 기록되어 있다.
여기서, 상기 정보기기는, 컴퓨터, 스마트폰, 태블릿 컴퓨터 등 휴대용 정보처리기기를 통칭한다.
이상 본 발명의 바람직한 실시예에 대해 설명했지만, 본 발명은, 상기 개시되는 실시예들에 한정되는 것이 아니라, 특허청구범위와 발명의 상세한 설명 및 첨부 도면의 범위 안에서 서로 다른 다양한 형태로 변형하여 구현 실시될 수 있고, 균등한 타 실시예가 가능하며, 이 또한 본 발명의 범위에 속하는 것은 당해 분야에서 통상적 지식을 가진 자에게 당연하며, 단지 실시예들은, 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은, 청구항의 범주에 의해 정의될 뿐이다.
본 발명은, 머신러닝 기반 실시간 비디오 방송 품질 평가 방법, 장치 및 프로그램의 산업에 이용될 수 있다.
10: 스트림 수신기
20: 디코더
30: 비디오 품질 평가기
31: 프레임 선택기
32: 프레임 특징 추출기
33: 비디오 품질 회귀기
32a: 범용 특성 특징 추출기
32b: 제작 품질 특징 추출기
32c: 압축 품질 특징 추출기
32d: 전송 품질 특징 추출기
32x: 통합기
33: 비디오 품질 회귀기
40: 비디오 품질 모니터
51: PP 송출단
52: SO 수신단
53: SO 헤드엔드
54: SO 송출단
55: NO 전송망
56: 시청자 수신기

Claims (7)

  1. 컴퓨팅 장치에 의해 각 단계가 수행되는 머신러닝을 기반으로 하여 실시간으로 비디오 방송 품질을 평가하는 장치로서,
    데이터 전송 형식에 따라 미리 정해진 프로토콜을 기반으로 송출되고 있는 각 방송의 각 채널의 압축된 비디오 스트림 데이터를 수신하는 스트림 수신기;
    상기 압축된 비디오 스트림을 복원하여 비디오 프레임을 생성하는 디코더;
    머신러닝 기술을 기반으로 다양한 비디오 데이터셋을 이용하여 학습된 모델을 구비하고, 비디오 프레임을 선택하고, 입력된 비디오 프레임에 대해 미리 정해진 시간 주기별로 특징을 추출하여, 비디오의 품질 점수값을 평가하는 비디오 품질 평가기; 및
    각 채널별 현재 품질 점수 및 품질 점수 추이를 사람이 인지할 수 있도록 출력하고, 채널별 품질 점수 데이터를 기록하고 조회할 수 있도록 제공하는 비디오 품질 모니터;
    가 포함되어 이루어지고,
    상기 비디오 품질 평가기는,
    비디오를 구성하는 비디오 프레임 중 중요도가 높은 대표 프레임들을 선별 선택하는 프레임 선택기;
    각 비디오 프레임의 화질 상의 특징을 추출하여 특징 벡터를 생성하기 위한 딥러닝 모델로 구현되는 프레임 특징 추출기; 및
    추출된 비디오 프레임의 특징 벡터의 변화 특성을 학습하여, 미리 정해진 시간 주기별로 비디오 프레임의 화질 상의 최종 품질 점수를 평가하는 딥러닝 또는 머신러닝 모델로 구현되는 비디오 품질 회귀기;
    가 포함되어 이루어지며,
    상기 프레임 특징 추출기는, 비디오 프레임의 특징의 추출 정확도를 높이기 위해, 복수의 모델을 병렬로 사용하여 각 특징 벡터를 구한 후, 각 모델의 결과를 통합하여 상기 특징 벡터를 생성하는 통합기;
    가 포함되어 이루어지고,
    상기 복수의 모델은,
    어떤 이미지가 다른 이미지와 구분되는 일반 특징 또는 의미적 특징을 추출하는 딥러닝 모델인 범용 특성 특징 추출기; 및
    비디오가 최초 제작될 때부터 가지고 있는 품질 특징을 추출하는 딥러닝 모델인 제작 품질 특징 추출기;
    가 포함되고, 또한,
    비디오에 적용된 압축 정도에 따라 변화되는 품질 특징을 추출하는 딥러닝 모델인 압축 품질 특징 추출기; 및
    비디오가 다단계에 걸쳐서 전송될 때 발생 가능한 오류에 의해 열화된 품질 특징을 추출하는 딥러닝 모델인 전송 품질 특징 추출기;
    중 적어도 하나가 포함되어 이루어지며,
    상기 비디오 품질 평가기의 품질 점수값의 평가는, 원본과의 화질 비교 방식이 아니라 방송의 비디오 프레임의 특징 벡터의 변화 특성을 학습한 딥러닝 또는 머신러닝 모델에 의한 주기별 품질 평가임
    을 특징으로 하는, 머신러닝 기반 실시간 비디오 방송 품질 평가 장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 청구항 1에 있어서,
    상기 통합기는, 상기 복수의 모델을 통해 생성된 특징 벡터들을 연결하여 이루어지는 특징 벡터인 하나의 연결 벡터를 산출함
    을 특징으로 하는, 머신러닝 기반 실시간 비디오 방송 품질 평가 장치.
  6. 컴퓨팅 장치에 의해 각 단계가 수행되는 머신러닝을 기반으로 하여 실시간으로 비디오 방송 품질을 평가하는 방법으로서,
    데이터 전송 형식에 따라 미리 정해진 프로토콜을 기반으로 송출되고 있는 각 방송의 각 채널의 압축된 비디오 스트림 데이터를 수신하는 스트림 수신단계;
    상기 압축된 비디오 스트림을 복원하여 비디오 프레임을 생성하는 디코딩 단계;
    머신러닝 기술을 기반으로 다양한 비디오 데이터셋을 이용하여 학습된 모델을 구비하고, 비디오 프레임을 선택하고, 입력된 비디오 프레임에 대해, 미리 정해진 시간 주기별로 특징을 추출하여 비디오의 품질 점수값을 평가하는 비디오 품질 평가단계; 및
    각 채널별 현재 품질 점수 및 품질 점수 추이를 사람이 인지할 수 있도록 출력하고, 채널별 품질 점수 데이터를 기록하고 조회할 수 있도록 제공하는 비디오 품질 모니터링단계;
    가 포함되어 이루어지고,
    상기 비디오 품질 평가단계는,
    비디오를 구성하는 비디오 프레임 중 중요도가 높은 대표 프레임들을 선별 선택하는 프레임 선택단계;
    각 비디오 프레임의 화질 상의 특징을 추출하여 특징 벡터를 생성하기 위한 딥러닝 모델로 구현되는 프레임 특징 추출단계; 및
    추출된 비디오 프레임의 특징 벡터의 변화 특성을 학습하여, 미리 정해진 시간 주기별로 비디오 프레임의 화질 상의 최종 품질 점수를 평가하는 딥러닝 또는 머신러닝 모델로 구현되는 비디오 품질 회귀단계;
    가 포함되어 이루어지며,
    상기 프레임 특징 추출단계는, 비디오 프레임의 특징의 추출 정확도를 높이기 위해, 복수의 모델을 병렬로 사용하여 각 특징 벡터를 구한 후, 각 모델의 결과를 통합하여 상기 특징 벡터를 생성하는 통합단계;
    가 포함되어 이루어지고,
    상기 복수의 모델은,
    어떤 이미지가 다른 이미지와 구분되는 일반 특징 또는 의미적 특징을 추출하는 딥러닝 모델로 구현되는 범용 특성 특징 추출단계; 및
    비디오가 최초 제작될 때부터 가지고 있는 품질 특징을 추출하는 딥러닝 모델로 구현되는 제작 품질 특징 추출단계;
    가 포함되고, 또한,
    비디오에 적용된 압축 정도에 따라 변화되는 품질 특징을 추출하는 딥러닝 모델로 구현되는 압축 품질 특징 추출단계; 및
    비디오가 다단계에 걸쳐서 전송될 때 발생 가능한 오류에 의해 열화된 품질 특징을 추출하는 딥러닝 모델로 구현되는 전송 품질 특징 추출단계;
    중 적어도 하나가 포함되어 이루어지며,
    상기 비디오 품질 평가단계의 품질 점수값의 평가는, 원본과의 화질 비교 방식이 아니라 방송의 비디오 프레임의 특징 벡터의 변화 특성을 학습한 딥러닝 또는 머신러닝 모델에 의한 주기별 품질 평가임
    을 특징으로 하는, 머신러닝 기반 실시간 비디오 방송 품질 평가 방법.
  7. 정보기기에 청구항 6에 기재된 방법의 각 단계를 실행시키기 위한 정보기기용 프로그램을 기록한, 정보기기로 읽을 수 있는 저장매체에 기록된 정보기기용 프로그램.
KR1020220010680A 2022-01-25 2022-01-25 머신러닝 기반 실시간 비디오 방송 품질 평가 방법, 장치 및 프로그램 KR102540817B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220010680A KR102540817B1 (ko) 2022-01-25 2022-01-25 머신러닝 기반 실시간 비디오 방송 품질 평가 방법, 장치 및 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220010680A KR102540817B1 (ko) 2022-01-25 2022-01-25 머신러닝 기반 실시간 비디오 방송 품질 평가 방법, 장치 및 프로그램

Publications (1)

Publication Number Publication Date
KR102540817B1 true KR102540817B1 (ko) 2023-06-13

Family

ID=86762743

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220010680A KR102540817B1 (ko) 2022-01-25 2022-01-25 머신러닝 기반 실시간 비디오 방송 품질 평가 방법, 장치 및 프로그램

Country Status (1)

Country Link
KR (1) KR102540817B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080053444A (ko) 2008-05-19 2008-06-13 주식회사 콤위즈 디지털오디오 방송콘텐츠 품질감시 방법 및 시스템
US20100110199A1 (en) * 2008-11-03 2010-05-06 Stefan Winkler Measuring Video Quality Using Partial Decoding
US20210099715A1 (en) * 2018-07-10 2021-04-01 Fastvdo Llc Method and apparatus for applying deep learning techniques in video coding, restoration and video quality analysis (vqa)

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080053444A (ko) 2008-05-19 2008-06-13 주식회사 콤위즈 디지털오디오 방송콘텐츠 품질감시 방법 및 시스템
US20100110199A1 (en) * 2008-11-03 2010-05-06 Stefan Winkler Measuring Video Quality Using Partial Decoding
US20210099715A1 (en) * 2018-07-10 2021-04-01 Fastvdo Llc Method and apparatus for applying deep learning techniques in video coding, restoration and video quality analysis (vqa)

Similar Documents

Publication Publication Date Title
US20220030244A1 (en) Content adaptation for streaming
US9860593B2 (en) Devices, systems, methods, and media for detecting, indexing, and comparing video signals from a video display in a background scene using a camera-enabled device
US10304458B1 (en) Systems and methods for transcribing videos using speaker identification
KR102050780B1 (ko) 신경망을 이용한 컨텐츠 인지 기반 컨텐츠 전송 서버 장치 및 방법
US20150156557A1 (en) Display apparatus, method of displaying image thereof, and computer-readable recording medium
US20190141363A1 (en) Method and apparatus for generating quality estimators
US11928793B2 (en) Video quality assessment method and apparatus
Rao et al. Bitstream-based model standard for 4K/UHD: ITU-T P. 1204.3—Model details, evaluation, analysis and open source implementation
KR102084510B1 (ko) 컨텐츠 특성 기반 트리거 피처를 갖는 컴퓨팅 시스템
US9230173B2 (en) Soft decision making processes for analyzing images
Min et al. Perceptual Video Quality Assessment: A Survey
KR102540817B1 (ko) 머신러닝 기반 실시간 비디오 방송 품질 평가 방법, 장치 및 프로그램
CN115379291B (zh) 一种码表更新方法、装置、设备及存储介质
Ying et al. Telepresence video quality assessment
CN111818338B (zh) 一种异常显示检测方法、装置、设备及介质
US20180359523A1 (en) Method and system for progressive penalty and reward based ad scoring for detection of ads
CN114827617A (zh) 一种基于感知模型的视频编解码方法及系统
TWI482470B (zh) 數位看板播放系統、即時監看系統及其即時監看之方法
JP7118998B2 (ja) メディア視聴データを使用してデバイスマップの精度を改善させるためのシステムおよび方法
KR20220056599A (ko) 화질 개선을 위한 학습데이터 생성 방법 및 그 장치
EP2902924A1 (en) Method for automatically selecting a real-time video stream among a plurality of available real-time video streams, and associated system
US11908340B2 (en) Magnification enhancement of video for visually impaired viewers
US11917225B2 (en) Method and system for video quality monitoring
Yu et al. Predicting encoded picture quality in two steps is a better way
KR102253918B1 (ko) 감정 분석 시스템 및 이의 동작 방법

Legal Events

Date Code Title Description
AMND Amendment
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant