KR102050780B1 - 신경망을 이용한 컨텐츠 인지 기반 컨텐츠 전송 서버 장치 및 방법 - Google Patents
신경망을 이용한 컨텐츠 인지 기반 컨텐츠 전송 서버 장치 및 방법 Download PDFInfo
- Publication number
- KR102050780B1 KR102050780B1 KR1020180003377A KR20180003377A KR102050780B1 KR 102050780 B1 KR102050780 B1 KR 102050780B1 KR 1020180003377 A KR1020180003377 A KR 1020180003377A KR 20180003377 A KR20180003377 A KR 20180003377A KR 102050780 B1 KR102050780 B1 KR 102050780B1
- Authority
- KR
- South Korea
- Prior art keywords
- content
- cluster
- contents
- model
- learning
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 18
- 230000005540 biological transmission Effects 0.000 claims description 18
- 238000010801 machine learning Methods 0.000 claims description 7
- 238000013145 classification model Methods 0.000 claims description 6
- 238000002716 delivery method Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 8
- 238000012549 training Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 238000003062 neural network model Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 244000025254 Cannabis sativa Species 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- IBBLRJGOOANPTQ-JKVLGAQCSA-N quinapril hydrochloride Chemical compound Cl.C([C@@H](C(=O)OCC)N[C@@H](C)C(=O)N1[C@@H](CC2=CC=CC=C2C1)C(O)=O)CC1=CC=CC=C1 IBBLRJGOOANPTQ-JKVLGAQCSA-N 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G06K9/627—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
-
- G06K9/46—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
- G06V30/19173—Classification techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
- H04N21/23109—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion by placing content in organized collections, e.g. EPG data repository
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/251—Learning process for intelligent management, e.g. learning user preferences for recommending movies
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
- H04N21/2668—Creating a channel for a dedicated end-user group, e.g. insertion of targeted commercials based on end-user profiles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/61—Network physical structure; Signal processing
- H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
- H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/10—Recognition assisted with metadata
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Biodiversity & Conservation Biology (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
신경망을 이용한 컨텐츠 인지 기반 컨텐츠 전송 서버 장치 및 방법을 개시한다.
컨텐츠 제공자로부터 제공되는 다수의 컨텐츠를 유사도에 기반하여 군집화하는 컨텐츠 군집화부; 군집화 결과에 따라 각 군집에 포함된 컨텐츠를 이용하여 군집별 컨텐츠 복원 모델을 학습시키는 학습부; 상기 다수의 컨텐츠 및 상기 군집별 컨텐츠 복원 모델을 저장하는 저장부; 및 사용자로부터 요청된 컨텐츠 및 상기 요청된 컨텐츠가 포함된 군집에 대응하는 컨텐츠 복원 모델을 사용자 단말에 전송하는 전송부를 포함하는 컨텐츠 전송 서버 장치를 제공한다.
컨텐츠 제공자로부터 제공되는 다수의 컨텐츠를 유사도에 기반하여 군집화하는 컨텐츠 군집화부; 군집화 결과에 따라 각 군집에 포함된 컨텐츠를 이용하여 군집별 컨텐츠 복원 모델을 학습시키는 학습부; 상기 다수의 컨텐츠 및 상기 군집별 컨텐츠 복원 모델을 저장하는 저장부; 및 사용자로부터 요청된 컨텐츠 및 상기 요청된 컨텐츠가 포함된 군집에 대응하는 컨텐츠 복원 모델을 사용자 단말에 전송하는 전송부를 포함하는 컨텐츠 전송 서버 장치를 제공한다.
Description
본 발명은 신경망을 이용한 컨텐츠 인지 기반 컨텐츠 전송 서버 장치 및 방법에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
인터넷을 통한 비디오 전송이 급격하게 증가하고 있으며, 증강 현실이나 가상 현실을 제공하는 스트리밍 서비스가 등장함에 따라 인터넷 비디오가 전체 인터넷 트래픽에서 차지하는 비중이 높아지고 있다.
인터넷 비디오 전송 기술은 컨텐츠 전송 네트워크(content delivery networks, CDNs)에서부터 HTTP 적응적 스트리밍(adaptive streaming) 및 QoE(Quality of Experience)를 위한 데이터를 이용한 최적화에 이르기까지, 한정된 네트워크 자원 내에서 사용자에게 최상의 화질을 제공할 수 있도록 하기 위해 다양한 기술이 제안된 바 있다.
그러나, 현재의 비디오 전송 기술의 경우, 비디오를 단지 비트스트림으로만 취급함으로써 컨텐츠의 종류와 상관 없이 동일한 기술을 적용하고 있으며, 비디오 인코딩도 단순히 짧은 시간 스케일(프레임 내)에서 발생하는 공간 및 시간 중복성을 이용한 신호 처리 기술(이산 코사인 변환 및 프레임 간 예측)을 사용하는 것에 그치고 있다.
본 발명은, 개별 컨텐츠의 특성에 적합하도록 사용자 단말에 컨텐츠를 전송할 수 있는 컨텐츠 인지 기반 컨텐츠 전송 서버 장치 및 그 전송 방법을 제공하는 데 주된 목적이 있다.
본 발명의 일 실시예에 의하면, 컨텐츠 제공자로부터 제공되는 다수의 컨텐츠를 유사도에 기반하여 군집화하는 컨텐츠 군집화부; 군집화 결과에 따라 각 군집에 포함된 컨텐츠를 이용하여 군집별 컨텐츠 복원 모델을 학습시키는 학습부; 상기 다수의 컨텐츠 및 상기 군집별 컨텐츠 복원 모델을 저장하는 저장부; 및 사용자로부터 요청된 컨텐츠 및 상기 요청된 컨텐츠가 포함된 군집에 대응하는 컨텐츠 복원 모델을 사용자 단말에 전송하는 전송부를 포함하는 컨텐츠 전송 서버 장치를 제공한다.
상기 장치의 실시예들은 다음의 특징들을 하나 이상 더 포함할 수 있다.
상기 컨텐츠 군집화부는, 인공신경망 기반 이미지 분류 모델을 통해 상기 유사도를 판단하여 군집화할 수 있다.
상기 학습부는, 상기 다수의 컨텐츠를 압축시켜 대체 컨텐츠를 생성하고, 상기 대체 컨텐츠로부터 컨텐츠 원본을 출력하도록 상기 컨텐츠 복원 모델을 학습시킬수 있다.
상기 전송부는, 상기 사용자 단말의 네트워트 연결 상태에 따라 상기 요청된 컨텐츠를 상기 대체 컨텐츠로 대체하여 전송할 수 있다.
본 발명의 일 실시예에 의하면, 컨텐츠 제공 시스템의 컨텐츠 전송 서버에서 사용자 단말에 컨텐츠를 전송하기 위한 방법에 있어서, 컨텐츠 제공자로부터 제공되는 다수의 컨텐츠를 유사도에 기반하여 군집화하는 과정, 군집화 결과에 따라 각 군집에 포함된 컨텐츠를 이용하여 군집별 컨텐츠 복원 모델을 학습시키는 과정, 사용자로부터 요청된 컨텐츠 및 상기 요청된 컨텐츠가 포함된 군집에 대응하는 컨텐츠 복원 모델을 사용자 단말에 전송하는 과정을 포함하는 컨텐츠 전송 방법을 제공한다.
이상에서 설명한 바와 같이 본 실시예에 의하면, 유사한 컨텐츠들을 군집화하여 컨텐츠들의 유사성을 이용해 컨텐츠 복원 모델을 학습시킴으로써, 사용자에게 높은 품질의 컨텐츠를 제공하면서도 전송에 필요한 네트워크 대역폭은 감소시킬 수 있는 효과가 있다.
또한, 본 실시예에 의하면, 사용자 단말에 이러한 컨텐츠 복원 모델을 제공하고 사용자 단말의 연산 능력을 이용하여 컨텐츠 복원 성능을 구현함으로써, 네트워크 환경에 제한되지 않고 사용자가 원하는 품질의 컨텐츠를 제공할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 컨텐츠 제공 서비스 시스템을 개략적으로 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 컨텐츠 전송 서버의 구성을 개략적으로 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 컨텐츠 전송 서버에서의 컨텐츠 복원 모델 학습 방법을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 군집별 컨텐츠 복원 모델을 이용한 컨텐츠 전송 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 컨텐츠 전송 서버의 컨텐츠 전송 방법을 도시한 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 방법 및 종래 기술에 의한 비디오 화질 개선 결과를 비교하여 도시한 도면이다.
도 7 및 도 8은 본 발명의 일 실시예에 따른 방법 및 종래 기술에 의한 비디오 전송 성능을 비교하여 도시한 도면이다.
도 9는 종래 기술에 의한 비디오 인코딩 및 디코딩 결과를 비교하여 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 컨텐츠 전송 서버의 구성을 개략적으로 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 컨텐츠 전송 서버에서의 컨텐츠 복원 모델 학습 방법을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 군집별 컨텐츠 복원 모델을 이용한 컨텐츠 전송 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 컨텐츠 전송 서버의 컨텐츠 전송 방법을 도시한 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 방법 및 종래 기술에 의한 비디오 화질 개선 결과를 비교하여 도시한 도면이다.
도 7 및 도 8은 본 발명의 일 실시예에 따른 방법 및 종래 기술에 의한 비디오 전송 성능을 비교하여 도시한 도면이다.
도 9는 종래 기술에 의한 비디오 인코딩 및 디코딩 결과를 비교하여 도시한 도면이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 명세서 전체에서, 어떤 부분이 어떤 구성요소를 '포함', '구비'한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 '~부', '모듈' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략한다.
본 명세서에서 컨텐츠는 방송 컨텐츠, 오디오 또는 비디오 컨텐츠 등 다양한 멀티미디어 컨텐츠를 포함한다. 컨텐츠는 소정의 미디어 컨텐츠이면 그 내용이나 형식에는 제한이 없다. 따라서, 컨텐츠에는 컨텐츠 제작 사업자가 제작한 컨텐츠 뿐만 아니라 개인이 만들어 배포하는 UCC(User Creative Contents)가 포함된다.
본 명세서에서 메타데이터는 데이터에 관한 데이터(data about data)로서 컨텐츠에 대한 부가 정보를 의미한다. 메타데이터는 매니페스트 파일(manifest file)에 기록되어 사용자 단말에 전송되며, 사용자 단말은 메타데이터를 이용하여 원하는 컨텐츠를 요청하는 등 컨텐츠 제공 서비스를 받을 수 있다.
도 1은 본 발명의 일 실시예에 따른 컨텐츠 제공 서비스 시스템을 개략적으로 나타낸 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 컨텐츠 제공 서비스 시스템은 컨텐츠 제공자(110), 컨텐츠 제공 서버(120) 및 사용자 단말(130)을 포함하여 구성된다.
컨텐츠 제공자(110)는 컨텐츠 제공 서비스를 위한 컨텐츠를 생성하여 제공한다. 컨텐츠 제공자(110)는 서비스 목적에 따라 다양한 컨텐츠를 생성할 수 있다.
예컨대, VOD(Video On Demand) 서비스를 제공하는 컨텐츠 제공자(110)는 비디오/오디오 형태의 컨텐츠를 생성하여 제공할 수 있고, 개인 방송을 제공하는 컨텐츠 제공자(110)는 라이브 스트림 형태의 컨텐츠를 생성하여 제공할 수 있다. 또한, 다시점 영상 공유 서비스를 제공하는 컨텐츠 제공자(110)는 영상의 깊이 정보를 포함하는 컨텐츠를 생성하여 제공할 수 있다. AR(Augmented Reality) 서비스를 제공하는 컨텐츠 제공자(110)는 360 카메라를 통해 스티칭된 컨텐츠를 생성하여 제공할 수 있다.
컨텐츠 제공 서버(120)는 컨텐츠 제공자(110)에 의해 제공된 컨텐츠를 서비스 및 컨텐츠의 종류에 적합한 전송 프로토콜을 통해 사용자 단말(130)에 전송한다. 컨텐츠 제공 서버(120)는 다양한 컨텐츠와 서비스를 사용자 단말에 따라 적합한 제공 방식을 선정하고, 선정한 방식을 통해 컨텐츠 제공자(110)로부터 제공받은 컨텐츠를 사용자 단말(130)에 전송한다. 컨텐츠 제공 서버(120)는 컨텐츠 제공자(110)로부터 생성되어 제공되는 새로운 컨텐츠를 지속적으로 제공받아 사용자 단말(130)에 새로운 컨텐츠를 전송할 수 있다.
예컨대, VOD 서비스를 제공하기 위해 RTSP(Real Time Streaming Protocol)을 이용하여 컨텐츠 제공자(110)로부터 제공받은 VOD 컨텐츠를 전송할 수 있고, 개인 방송 컨텐츠를 제공하는 컨텐츠 제공자(110)로부터 제공받은 개인 방송 컨텐츠를 전송하기 위해 HLS(HTTP Live Streaming) 프로토콜 또는 MPEG-TS(Moving Picture Experts Group - Transport Stream) 프로토콜을 통해 전송할 수 있다.
또한, 컨텐츠 제공 서버(120)는 컨텐츠 제공자(110)로부터 제공받은 다수의 컨텐츠를 유사도에 기반하여 군집화하고, 각 군집에 대해 서로 다른 신경망 기반의 학습 모델을 통해 각 군집별로 군집 내 컨텐츠들을 이용한 컨텐츠 복원 모델을 생성한다. 컨텐츠 복원 모델은, 저화질 또는 압축된 컨텐츠로부터 고화질 또는 고품질의 컨텐츠를 출력하도록 학습된 신경망 기반의 모델로, 저해상도의 영상으로부터 고해상도의 영상을 출력하도록 학습하거나, 흑백 또는 윤곽선으로 이루어진 영상으로부터 원본 영상을 복원하여 출력하도록 학습하거나, 영상의 프레임간 보간을 학습하여 압축된 영상으로부터 보간된 프레임이 포함된 고품질의 영상을 출력할 수 있다.
컨텐츠 제공 서버(120)는 다수의 컨텐츠를 군집화하기 위해 컨텐츠 제공자(110)로부터 제공되는 컨텐츠에 대한 메타 데이터를 이용하거나, 이미지의 유사도를 판단하는 기계학습 기반의 모델을 이용할 수 있다. 구체적으로, 이미지 분류(classification)를 학습한 신경망 모델을 통해 컨텐츠의 유사도를 판단하여 제공되는 다수의 컨텐츠를 군집화할 수 있다.
컨텐츠 제공 서버(120)는 각 군집에 포함되어 있는 유사도가 높은 컨텐츠들을 이용하여, 저화질 또는 압축된 형태의 컨텐츠로부터 고화질 또는 고품질의 컨텐츠를 출력하도록 컨텐츠 복원 모델을 학습시킬 수 있다. 군집 내에 포함되어 있는 컨텐츠들은 유사도가 높은 컨텐츠로 서로 공유하고 있는 중복된 정보가 많기 때문에, 동일한 컨텐츠 복원 모델을 이용할 수 있다.
사용자 단말(130)은 컨텐츠 제공자(110)에 의해 제공되는 컨텐츠와 컨텐츠 복원 모델을 컨텐츠 전송 서버(120)를 통해 수신한다. 사용자 단말(130)은 스마트폰, 태블릿 PC, 노트북 또는 데스크탑 등일 수 있으며, 사용자 단말(130)의 종류에 따라 적합한 컨텐츠 제공 모델이 제공될 수 있다.
컨텐츠 복원 모델은 사용자 단말(130)이 수신하는 매니페스트 파일(manifest file)의 메타 데이터에 포함될 수 있다. 사용자 단말(130)은 매니 페스트 파일을 통해 컨텐츠에 접근 또는 컨텐츠를 요청하는 것 이외에, 해당 컨텐츠에 적합한 컨텐츠 복원 모델을 수신할 수 있다.
사용자 단말(130)은 수신한 컨텐츠 및 컨텐츠 복원 모델을 이용하여, 원하는 품질의 컨텐츠를 생성할 수 있다. 즉, 제공받은 컨텐츠 복원 모델을 이용하여 사용자 단말(130) 내에서의 연산을 통해 고품질의 컨텐츠를 생성할 수 있기 때문에 사용자는 네트워크 환경이 좋지 않더라도 고품질의 컨텐츠를 제공받을 수 있게 된다.
사용자 단말(130)은 각 컨텐츠의 서비스 타입이 지원하는 전송 프로토콜을 통해 각 컨텐츠 및 컨텐츠 복원 모델을 수신한다. 예컨대, VOD 서비스를 제공받기 위하여 RTSP 및 HLS 프로토콜을 통해 컨텐츠를 수신하거나, 개인 방송 서비스를 제공받기 위해 라이브 스트림 형태의 컨텐츠를 HLS 프로토콜 또는 MPEG-TS 프로토콜을 통해 수신할 수 있다.
도 2는 본 발명의 일 실시예에 따른 컨텐츠 전송 서버의 구성을 개략적으로 도시한 도면이다.
도 2를 참조하면, 본 실시예의 컨텐츠 전송 서버(120)는 컨텐츠 군집화부(210), 학습부(220) 및 저장부(230)를 포함하며, 저장부(230)는 컨텐츠 저장부(231) 및 메타데이터 저장부(232)를 포함하여 구성된다. 도 2에 도시한 각 구성요소는 하드웨어 칩으로 구현될 수 있으며, 또는 소프트웨어로 구현되고 마이크로프로세서가 각 구성요소에 대응하는 소프트웨어의 기능을 실행하도록 구현될 수도 있다.
컨텐츠 군집화부(210)는 컨텐츠 제공자로부터 제공되는 다수의 컨텐츠를 유사도에 기반하여 군집화한다. 컨텐츠 제공 서버(120)는 다수의 컨텐츠를 군집화하기 위해 컨텐츠 제공자(110)로부터 제공되는 컨텐츠에 대한 메타 데이터를 이용하거나, 이미지의 유사도를 판단하는 기계학습 기반의 모델을 이용할 수 있다. 구체적으로, 컨텐츠 군집화부(210)는 이미지 분류(classification)를 학습한 신경망 모델을 통해 컨텐츠의 유사도를 판단하여 제공되는 다수의 컨텐츠를 군집화할 수 있다.
예컨대, 컨텐츠 제공자(110)로부터 다양한 스포츠 관련 영상을 제공받은 경우에, 컨텐츠 제공자(110)가 각 컨텐츠에 대하여 생성한 메타 데이터를 분석하여 농구 경기, 축구 경기, 야구 경기 등으로 유사한 컨텐츠들을 군집화할 수 있다. 또는 기계학습을 통해 이미지 분류를 학습한 이미지 분류 모델을 이용하여 제공받은 컨텐츠의 프레임을 분석하여 유사도에 따라 농구 경기, 축구 경기, 야구 경기 등으로 분류하여 군집화할 수도 있다.
컨텐츠 군집화부(210)는 컨텐츠 제공자(110)로부터 새로운 컨텐츠를 제공받으면, 이미지 분류 모델을 통해 새로운 컨텐츠와 기존의 군집들 간의 유사도를 판단한다. 컨텐츠 군집화부(210)는 새로운 컨텐츠가 기존에 존재하는 군집과 중복성이 높다면 중복성이 가장 높은 군집으로 새로운 컨텐츠를 분류하고, 중복성이 일정 수준 이하인 경우 유사도가 높은 군집이 없으므로 새로운 컨텐츠를 새로운 군집으로 분류할 수 있다.
학습부(220)는 군집화 결과에 따라 각 군집에 포함된 컨텐츠를 이용하여 군집별 컨텐츠 복원 모델을 학습시킨다. 컨텐츠 복원 모델은, 저화질 또는 압축된 컨텐츠로부터 고화질 또는 고품질의 컨텐츠를 출력하도록 학습된 신경망 기반의 모델로, 저해상도의 영상으로부터 고해상도의 영상을 출력하도록 학습하거나, 흑백 또는 윤곽선으로 이루어진 영상으로부터 원본 영상을 복원하여 출력하도록 학습하거나, 압축된 영상으로부터 보간된 프레임이 포함된 고품질의 영상을 출력하도록 영상의 프레임간 보간을 학습할 수 있다.
학습부(220)는 각 군집에 포함되어 있는 유사도가 높은 컨텐츠들을 이용하여, 저화질 또는 압축된 형태의 컨텐츠로부터 고화질 또는 고품질의 컨텐츠를 출력하도록 컨텐츠 복원 모델을 학습시킬 수 있다. 군집 내에 포함되어 있는 컨텐츠들은 유사도가 높은 컨텐츠로 서로 공유하고 있는 중복된 정보가 많기 때문에, 동일한 컨텐츠 복원 모델을 이용할 수 있다.
예컨대, 축구 경기의 경우, 축구장과 같은 배경이나 플레이어 등은 영상 전체를 통하여 반복하여 나타나고, 여러 축구 경기 영상에서 동일한 배경 및 플레이어가 나타날 수 있다. 또한, 동일한 축구 경기장이나 동일한 플레이어가 아니라 하더라도 경기장의 잔디 색이나 축구장 전경에 나타나는 관중 모습 등과 같이 축구 경기 영상이 공유하는 중복된 정보가 많다. 따라서, 이렇게 유사한 컨텐츠를 군집화하여 컨텐츠 복원 모델을 학습시키는 경우에, 다양한 경기 영상에 적용되는 뛰어난 컨텐츠 복원 성능을 보여줄 수 있으며, 군집에 포함된 모든 경기 영상이 해당 컨텐츠 복원 모델을 공유할 수 있다.
학습부(220)는 CNN(convolutional neural network)과 같이 이미지 처리에 적합한 신경망을 이용하여 각 군집 내 컨텐츠들에 대한 컨텐츠 복원 모델을 생성한다. 학습부(220)는 군집별 컨텐츠 복원 모델과 군집 내 컨텐츠를 연관시키고 해당 연관 정보를 메타데이터로서 매니페스트 파일에 기록한다. 학습부(220)는 컨텐츠 복원 모델의 학습 내용에 따라 컨텐츠의 저화질 또는 압축된 형태의 컨텐츠(이하 '대체 컨텐츠'라 함)를 생성하고, 대체 컨텐츠를 매니페스트 파일에 기록한다. 즉, 매니페스트 파일에는 컨텐츠 복원 모델과 대체 컨텐츠가 포함되어 있을 수 있다,
컨텐츠를 군집화하지 않고, 모든 컨텐츠에 적용되는 컨텐츠 복원 모델을 학습시키는 경우에, 연산을 위한 비용이 증가하며 모든 컨텐츠에 대해 고른 컨텐츠 복원 성능을 보여줄 수 없다. 따라서, 본 실시예에서는 컨텐츠 제공자로부터 제공되는 다수의 컨텐츠들을 유사도가 높은 컨텐츠들끼리 군집화하고, 각 군집에 대해 개별적으로 군집 내에 포함된 컨텐츠들을 이용하여 학습시킨 컨텐츠 복원 모델을 생성함으로써, 연산 비용을 감소시킬 수 있을 뿐 아니라 뛰어난 컨텐츠 복원 성능을 보여줄 수 있다.
저장부(230)는 다수의 컨텐츠 및 군집별 컨텐츠 복원 모델을 저장한다. 컨텐츠 저장부(231)는 컨텐츠 제공자(110)로부터 수신한 컨텐츠를 저장한다. 저장된 컨텐츠는 컨텐츠 원본 파일일 수도 있고, 경우에 따라 저화질 또는 압축된 형태의 컨텐츠(대체 컨텐츠)일 수 있다. 메타데이터 저장부(232)는 컨텐츠에 관련된 메타데이터를 저장한다.
도면에 도시되지는 않았지만, 컨텐츠 전송 서버(120)는 사용자로부터 요청된 컨텐츠 및 요청된 컨텐츠가 포함된 군집에 대응하는 컨텐츠 복원 모델을 사용자 단말에 전송하는 전송부를 더 포함할 수 있다. 전송부(미도시)에서는, 사용자 단말(130)과의 네트워크 연결 상태를 고려하여 요청된 컨텐츠의 원본 또는 대체 컨텐츠를 컨텐츠 복원 모델과 함께 전송할 수 있다.
도 3은 본 발명의 일 실시예에 따른 컨텐츠 전송 서버에서의 컨텐츠 복원 모델 학습 방법을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 군집별 컨텐츠 복원 모델을 이용한 컨텐츠 전송 방법을 설명하기 위한 도면이다.
컨텐츠 전송 서버(120)에서는 컨텐츠 제공자로부터 제공되는 다수의 컨텐츠를 유사도에 기반하여 군집화한다. 다수의 컨텐츠를 군집화하기 위해 컨텐츠 제공자로부터 컨텐츠와 함께 제공되는 컨텐츠에 대한 메타 데이터를 이용하거나, 이미지의 유사도를 판단하는 기계학습 기반의 모델을 이용할 수 있다.
컨텐츠 복원 모델은 각 군집에 대해 개별적으로 생성된다. 군집은 서로 유사한 컨텐츠를 포함하고 있기 때문에, 동일한 컨텐츠 복원 모델을 공유할 수 있다. 컨텐츠 복원 모델은, 저화질 또는 압축된 컨텐츠로부터 고화질 또는 고품질의 컨텐츠를 출력하도록 학습된 신경망 기반의 모델로, 저해상도의 영상으로부터 고해상도의 영상을 출력하도록 학습하거나, 흑백 또는 윤곽선으로 이루어진 영상으로부터 원본 영상을 복원하여 출력하도록 학습하거나, 압축된 영상으로부터 보간된 프레임이 포함된 고품질의 영상을 출력하도록 영상의 프레임간 보간을 학습할 수 있다.
예컨대, 군집 A는 축구 경기, 군집 B는 농구 경기, 군집 C는 야구 경기인 경우에, 학습 모델 A는 군집 A에 포함된 컨텐츠인 축구 경기를 학습한 컨텐츠 복원 모델이고, 학습 모델 B는 농구 경기를 학습한 컨텐츠 복원 모델이고, 학습 모델 C는 야구 경기를 학습한 컨텐츠 복원 모델이다.
도 4를 참조하면, 컨텐츠 전송 서버(120)는 사용자 단말에 컨텐츠와 함께 컨텐츠 복원 모델을 전송한다. 사용자 단말1(131) 및 사용자 단말3(133)과의 네트워크 연결이 좋지 않은 상황이고, 사용자 단말2(132)와의 네트워크 연결은 양호한 경우를 가정한다. 사용자 단말1(131) 및 사용자 단말3(133)과의 네트워크 연결 상황이 좋지 않은 경우에, 대체 컨텐츠와 함께 컨텐츠 복원 모델을 전송하여 사용자 단말1(131) 및 사용자 단말3(133)에서 자체적으로 연산하여 고품질의 컨텐츠를 생성할 수 있다. 또한, 사용자 단말2(132)와 같이 네트워크 연결 상황이 양호한 경우에는 컨텐츠 전송 서버(120)에서 고품질의 컨텐츠를 직접 전송하는 것도 가능하다. 이 경우에도, 대체 컨텐츠 및 컨텐츠 복원 모델을 전송할 수도 있으며, 고품질의 컨텐츠와 함께 컨텐츠 복원 모델을 전송하여 사용자가 원하는 품질의 컨텐츠를 제공받을 수 있도록 할 수 있다.
도 5는 본 발명의 일 실시예에 따른 컨텐츠 전송 서버의 컨텐츠 전송 방법을 도시한 흐름도이다.
컨텐츠 전송 서버는 컨텐츠 제공자로부터 컨텐츠를 수신한다(S510). 컨텐츠는 방송 컨텐츠, 오디오 또는 비디오 컨텐츠 등 다양한 멀티미디어 컨텐츠를 포함한다.
다음으로, 컨텐츠 전송 서버는 수신된 컨텐츠를 군집화한다(S520). 컨텐츠 제공자로부터 제공받은 다수의 컨텐츠를 유사도에 기반하여 군집화한다. 다수의 컨텐츠를 군집화하기 위해 컨텐츠 제공자로부터 제공되는 컨텐츠에 대한 메타 데이터를 이용하거나, 이미지의 유사도를 판단하는 기계학습 기반의 모델을 이용할 수 있다.
컨텐츠 제공 서버는 군집별 학습 모델을 학습시킨다(S530). 각 군집에 포함되어 있는 유사도가 높은 컨텐츠들을 이용하여, 저화질 또는 압축된 형태의 컨텐츠로부터 고화질 또는 고품질의 컨텐츠를 출력하도록 컨텐츠 복원 모델을 학습시킬 수 있다. 군집 내에 포함되어 있는 컨텐츠들은 유사도가 높은 컨텐츠로 서로 공유하고 있는 중복된 정보가 많기 때문에, 동일한 컨텐츠 복원 모델을 이용할 수 있다.
사용자로부터 컨텐츠 요청이 있는 경우 컨텐츠-학습 모델 쌍을 사용자 단말에 전송한다(S540). 이 때, 전송되는 컨텐츠는 네트워크 연결 상황에 따라 대체 컨텐츠 이거나 컨텐츠 원본일 수 있다. 컨텐츠 복원 모델은 사용자 단말이 수신하는 매니페스트 파일(manifest file)의 메타 데이터에 포함될 수 있다. 사용자 단말은 매니 페스트 파일을 통해 컨텐츠에 접근 또는 컨텐츠를 요청하는 것 이외에, 해당 컨텐츠에 적합한 컨텐츠 복원 모델을 요청하여 수신할 수 있다.
이하, 본 발명의 일 실시예에 따른 컨텐츠 복원 모델의 구현 및 이를 이용한 비디오 전송 방법을 구체적으로 설명한다.
1.고해상도 복원
슈퍼 해상도(Super-resolution imaging, SR)는 이미지 해상도를 향상시키는 기술로 저해상도 미디어로부터 고해상도의 이미지를 복구하는 기술이다. 이하에서는, 컨텐츠 인지 기반 슈퍼 레졸루션을 이용한 컨텐츠 복원 모델을 통한 비디오 전송 방법에 대해 설명한다. 이러한 컨텐츠 복원 모델은 적응형 스트리밍의 대안이 될 수 있으며, 안정적이고 향상된 품질을 제공할 수 있게 한다.
컨텐츠 복원 모델로서 이미지 슈퍼 해상도 복원을 위해 심층 컨볼루션 신경망을 이용한다. 컨텐츠 인지 기반의 모델을 생성하기 위하여, 시리즈로 구성된 컨텐츠의 각 에피소드를 군집으로 하여 학습 데이터로 이용하였다. 구체적으로, 유투브에서 제공되는 2012 런던 올림픽의 농구 경기, 유투브에서 제공되는 2012 런던 올림픽의 100m 및 200m 경주 남자 결승전, 컴퓨터 게임(스타크래프트)의 플레이 영상 및 유투브의 공식 코난 오브라이언 쇼 채널로부터 제공되는 코난의 모놀로그 에피소드로 이루어진 총 4개의 데이터셋을 이용하였다. 농구 경기의 경우, 전반전을 학습 비디오로 사용하였고, 후반전을 테스트 비디오로 사용하였다. 나머지 데이터 셋에 대해서는, 학습을 위한 비디오와 테스트를 위한 비디오를 나누어 사용하였다.
비교를 위한 신경망 모델로는 유사도에 구분없이 슈퍼 해상도 복원을 위한 벤치마크 데이터 셋을 학습한 신경망 모델(content-agnostic DNN)을 사용하였고, 보간법(nearest-neighbor interpolation)을 이용하여 해상도를 복원하는 방법을 최소 성능 기준으로 사용하였다.
도 6은 본 발명의 일 실시예에 따른 방법 및 종래 기술에 의한 비디오 화질 개선 결과를 비교하여 도시한 도면이다.
도 6의 (a)는 원본 비디오를 도시한 것이고, (b)는 본 실시예에 의한 컨텐츠 복원 모델을 이용한 경우, (c)는 종래 VDSR 모델을 이용한 경우, (d)는 보간법을 이용한 경우 획득한 슈퍼 레졸루션 비디오를 도시한 것이다. 도 6에 도시된 바와 같이, 본 실시예에 의하면, 컨텐츠를 유사도에 따라 분류하여 해상도 복원을 학습함으로써, 향상된 화질 개선 성능을 제공할 수 있다. 특히, 도 6에서 게임 화면을 복원한 경우를 참조하면, 본 실시예에 의하면 또렷한 텍스트 복원 성능을 보여줌을 알 수 있다.
도 7 및 도 8은 본 발명의 일 실시예에 따른 방법 및 종래 기술에 의한 비디오 전송 성능을 비교하여 도시한 도면이다.
도 7은 비디오 전송에서의 비트레이트(bitrate)와 품질의 관계를 도시한 것이다. 구체적으로, 도 7의 (b)에서 확인할 수 있듯이, 컨텐츠 인지 기반 컨텐츠 복원 모델에 의한 1.1Mbps 비디오는 종래의 보간법을 이용한 경우의 2.2Mbps 비디오보다 더 품질이 뛰어난 것을 확인할 수 있고, 결과적으로 본 실시예를 이용하는 경우에 네트워크 대역폭 사용을 50% 이상 줄일 수 있다. 즉, 본 실시예에 의하면, 적은 대역폭을 사용하여 높은 수준의 화질을 보여주는 비디오를 전송할 수 있다.
도 8은 동일한 품질의 비디오를 전송하는 경우의 데이터 사용량을 도시한 것이다. 본 실시예에 의한 신경망 기반 컨텐츠 복원 모델은 7.8MB의 사이즈를 갖는다. 컨텐츠 복원 모델의 사이즈는 신경망의 파라미터 설정에 따라 변경될 수 있다. 신경망의 파라미터 갯수가 증가하면 복원 성능이 좋아지지만, 컨텐츠 복원 모델의 크기가 커지는 단점이 있다. 신경망 성능이 도 8의 (a)를 참조하면 2분 이내에, (b)를 참조하면 20초 이내에, 본 실시예에 의한 컨텐츠 복원 모델을 전송하는 데이터 전송 비용이 보상됨을 알 수 있다.
도시된 성능 비교 결과를 참조하면, 본 실시예에 의하면 유사도가 높은 컨텐츠를 지속적으로 시청하는 사용자 단말의 경우에는 최초 컨텐츠 복원 모델을 전송한 이후에는 해당 모델을 이용하여 지속적으로 대체 컨텐츠를 복원할 수 있기 때문에 더 효율적일 수 있다. 또한, 파라미터를 로드하는데 소요되는 시간이 짧기 때문에 학습 모델을 초기화하는데에도 긴 시간이 필요하지 않으며 고해상도의 이미지를 복원하는 데에도 짧은 시간이 소요된다.
2. 원본 영상 복원
GANs(Generative Adversarial Networks)는 이미지의 간단한 설명이 주어지면 실제의 이미지와 구분할 수 없는 이미지를 합성하는 신경망이다. 이러한 GANs을 이용하여, 중복성이 적은 비디오에 대해서도 높은 품질의 비디오를 생성할 수 있다. 본 실시예에서 대체 컨텐츠로는 컨텐츠를 YCbCr 색상 공간에서 채도를 제거하고 원본 비디오의 휘도(Y)만을 포함하여 데이터를 표현하는 LUM과 에지(edge) 검출 알고리즘을 이용하여 각 프레임의 경계선을 추출하고 1 비트 양자화를 통해 흑백 이미지를 생성하는 EDGE를 예를 들어 설명한다.
도 9는 종래 기술에 의한 비디오 인코딩 및 디코딩 결과를 비교하여 도시한 도면이다.
도 9의 (c) 및 (d)는 각 농구 경기, 컴퓨터 게임(스타크래프트) 영상에 적용된 LUM 및 EDGE의 예제 프레임을 도시한 것이다. 도면을 참조하면, 원본 영상에 비하여 훨씬 적은 양의 정보가 포함되어 있음을 알 수 있다. 본 실시예에서, 데이터 셋에 포함된 비디오를 학습 데이터로 이용하여 GAN 네트워크를 학습시키고 LUM 및 EDGE의 이미지를 생성하도록 한다. 예컨대, LUM의 경우에, 네트워크는 휘도 값으로부터 원래의 이미지(채도 포함)를 합성한다. LUM 및 EDGE를 이용한 이미지를 비슷한 품질의 JPEG 이미지와 비교한다.
비교 결과, LUM(20.33KB)는 유사한 품질의 이미지를 전송하기 위해 JPEG(22.84KB)에 비하여 11% 감소된 데이터 사용을 보여준다. 도 9의 (e)는 이러한 LUM을 이용하여 이미지를 복원한 결과를 보여준다. 복원된 색이 원본과 거의 동일함을 알 수 있다. 즉, 채도의 경우 이러한 신경망 기반의 학습 모델을 통하여 중복된 정보가 잘 학습되는 요소임을 알 수 있으며, 본 발명의 일 실시예에 따라 비디오 전송 과정에서 이용되는 경우 뛰어난 성능을 보여줄 수 있다.
EDGE(3.65KB)는 JPEG(9.29KB)와 유사한 품질의 이미지를 전송하기 위해 훨씬 더 적은 데이터를 사용한다. 도 9의 (f)는 이러한 EDGE를 이용하여 디코딩된 이미지를 보여준다. 객체의 외곽선에 약간의 왜곡이 있다는 점을 제외하면, 생성된 이미지의 색상은 원본의 색상과 거의 일치한다. 이는, 비디오에 장기적인 중복성이 있는 경우에 윤곽선으로 구성된 흑백 이미지가 원본 이미지를 복원하기에 충분한 정보를 포함하고 있음을 나타낸다.
3. 프레임 보간
심층 신경망(DNN)을 이용한 프레임 보간 학습은, 신호 처리 기반의 프레임 보간에 비해 더 나은 성능을 보여주고 있다. 따라서, 본 실시예에 의한 컨텐츠 복원 모델이 컨텐츠들에 대한 프레임 보간을 학습하는 경우에, 대체 컨텐츠로서 프레임이 압축된 컨텐츠를 생성하고, 프레임 보간을 학습한 컨텐츠 복원 모델을 함께 전송하는 경우에 기존의 신호 처리 기반의 프레임 보간에 비해 아티팩트가 적게 나타나고 영상간 연결이 더 자연스러운 컨텐츠를 제공할 수 있다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
전술한 바와 같이, 도 5에 기재된 방법은 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 본 발명의 일 실시예에 따른 컨텐츠 전송 방법을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 이러한 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등을 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인(Functional) 프로그램, 코드 및 코드 세그먼트들은 본 실시예가 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있을 것이다.
100: 컨텐츠 제공 시스템
110: 컨텐츠 제공자
120: 컨텐츠 전송 서버
130: 사용자 단말
110: 컨텐츠 제공자
120: 컨텐츠 전송 서버
130: 사용자 단말
Claims (12)
- 컨텐츠 제공자로부터 제공되는 다수의 컨텐츠를 상기 다수의 컨텐츠의 메타데이터를 이용하거나 또는 이미지 분류를 학습한 기계학습 모델을 이용함으로써 유사도에 기반하여 군집화하는 컨텐츠 군집화부;
군집화 결과에 따라 각 군집에 포함된 컨텐츠를 이용하여 군집별 컨텐츠 복원 모델을 학습시키고, 상기 군집별 컨텐츠 복원 모델과 상기 각 군집 내 컨텐츠 간의 연관 정보를 매니페스트 파일에 기록하는 학습부;
상기 다수의 컨텐츠 및 상기 군집별 컨텐츠 복원 모델을 저장하는 컨텐츠 저장부; 및
사용자 단말로부터 요청된 컨텐츠 및 상기 요청된 컨텐츠가 포함된 군집에 대응하는 컨텐츠 복원 모델을 상기 매니페스트 파일을 통해 상기 사용자 단말에 전송하는 전송부
를 포함하는 컨텐츠 전송 서버 장치. - 제 1항에 있어서,
상기 컨텐츠 군집화부는,
인공신경망 기반 이미지 분류 모델을 통해 상기 유사도를 판단하여 군집화하는 것을 특징으로 하는, 컨텐츠 전송 서버 장치. - 제 2항에 있어서,
상기 컨텐츠 군집화부는,
상기 컨텐츠 제공자로부터 새로운 컨텐츠를 제공받으면, 상기 이미지 분류 모델을 통해 상기 새로운 컨텐츠와 기존의 군집들 간의 유사도를 판단하고, 상기 새로운 컨텐츠와 중복성이 가장 높은 군집에 상기 새로운 컨텐츠를 군집화하고, 상기 유사도가 일정 수준 이하인 경우 새로운 컨텐츠를 새로운 군집에 군집화하는 것을 특징으로 하는, 컨텐츠 전송 서버 장치. - 제 1항에 있어서,
상기 학습부는,
상기 다수의 컨텐츠를 압축시켜 대체 컨텐츠를 생성하고, 상기 대체 컨텐츠로부터 컨텐츠 원본을 출력하도록 상기 컨텐츠 복원 모델을 학습시키는 것을 특징으로 하는, 컨텐츠 전송 서버 장치. - 제 4항에 있어서,
상기 학습부는,
상기 군집에 포함된 컨텐츠의 저해상도 영상을 생성하고, 상기 컨텐츠 복원 모델에 상기 저해상도 영상으로부터 컨텐츠 원본 영상을 출력하도록 학습시키는 것을 특징으로 하는, 컨텐츠 전송 서버 장치. - 제 4항에 있어서,
상기 학습부는,
상기 군집에 포함된 컨텐츠의 휘도 영상 또는 윤곽선 영상을 추출하여, 상기 컨텐츠 복원 모델에 상기 휘도 영상 또는 윤곽선 영상으로부터 컨텐츠 원본을 출력하도록 학습시키는 것을 특징으로 하는, 컨텐츠 전송 서버 장치. - 제 4항에 있어서,
상기 학습부는,
상기 컨텐츠 복원 모델에 상기 군집에 포함된 컨텐츠에 대해 프레임 보간을 학습시키는 것을 특징으로 하는, 컨텐츠 전송 서버 장치. - 제 4항에 있어서,
상기 전송부는,
상기 사용자 단말의 네트워트 연결 상태에 따라 상기 요청된 컨텐츠를 상기 대체 컨텐츠로 대체하여 전송하는 것을 특징으로 하는, 컨텐츠 전송 서버 장치. - 컨텐츠 제공 시스템의 컨텐츠 전송 서버에서 사용자 단말에 컨텐츠를 전송하기 위한 방법에 있어서,
컨텐츠 제공자로부터 제공되는 다수의 컨텐츠를 상기 다수의 컨텐츠의 메타데이터를 이용하거나 또는 이미지 분류를 학습한 기계학습 모델을 이용함으로써 유사도에 기반하여 군집화하는 과정,
군집화 결과에 따라 각 군집에 포함된 컨텐츠를 이용하여 군집별 컨텐츠 복원 모델을 학습시키는 과정,
상기 군집별 컨텐츠 복원 모델과 각 군집 내 컨텐츠 간의 연관 정보를 매니페스트 파일에 기록하는 과정, 및
사용자로부터 요청된 컨텐츠 및 상기 요청된 컨텐츠가 포함된 군집에 대응하는 컨텐츠 복원 모델을 사용자 단말에 전송하는 과정
를 포함하는 컨텐츠 전송 방법. - 제 9항에 있어서,
상기 군집화하는 과정은,
인공신경망 기반 이미지 분류 모델을 통해 상기 유사도를 판단하여 군집화하는 것을 특징으로 하는, 컨텐츠 전송 방법. - 제 9항에 있어서,
상기 학습시키는 과정은,
상기 다수의 컨텐츠를 압축시켜 대체 컨텐츠를 생성하고, 상기 대체 컨텐츠로부터 컨텐츠 원본을 출력하도록 상기 컨텐츠 복원 모델을 학습시키는 것을 특징으로 하는, 컨텐츠 전송 방법. - 제 11항에 있어서,
상기 전송하는 과정은,
상기 사용자 단말의 네트워트 연결 상태에 따라 상기 요청된 컨텐츠를 상기 대체 컨텐츠로 대체하여 전송하는 것을 특징으로 하는, 컨텐츠 전송 방법.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180003377A KR102050780B1 (ko) | 2018-01-10 | 2018-01-10 | 신경망을 이용한 컨텐츠 인지 기반 컨텐츠 전송 서버 장치 및 방법 |
| US15/924,637 US10560731B2 (en) | 2018-01-10 | 2018-03-19 | Server apparatus and method for content delivery based on content-aware neural network |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180003377A KR102050780B1 (ko) | 2018-01-10 | 2018-01-10 | 신경망을 이용한 컨텐츠 인지 기반 컨텐츠 전송 서버 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190093746A KR20190093746A (ko) | 2019-08-12 |
| KR102050780B1 true KR102050780B1 (ko) | 2019-12-02 |
Family
ID=67141213
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180003377A KR102050780B1 (ko) | 2018-01-10 | 2018-01-10 | 신경망을 이용한 컨텐츠 인지 기반 컨텐츠 전송 서버 장치 및 방법 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US10560731B2 (ko) |
| KR (1) | KR102050780B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102678872B1 (ko) * | 2022-12-27 | 2024-06-28 | 주식회사 모바이 | 영상 특성에 기초한 동영상 초해상화 방법 및 그 시스템 |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020027857A1 (en) * | 2018-08-01 | 2020-02-06 | Centurylink Intellectual Property Llc | Machine learning for quality of experience optimization |
| CN110909761B (zh) * | 2019-10-12 | 2024-08-02 | 平安科技（深圳）有限公司 | 图像识别方法、装置、计算机设备及存储介质 |
| KR102325577B1 (ko) * | 2020-08-18 | 2021-11-12 | (주)넥스트랩 | 차량 하부 촬영 및 영상 처리 시스템과 그 방법 |
| KR102573511B1 (ko) * | 2020-11-23 | 2023-08-31 | 서울대학교산학협력단 | 영상 데이터 처리 장치 및 방법 |
| KR102273377B1 (ko) * | 2020-12-14 | 2021-07-06 | 국방기술품질원 | 영상 합성 방법 |
| KR102414301B1 (ko) * | 2021-12-29 | 2022-07-01 | 엔쓰리엔 주식회사 | Pod 기반의 영상 관제 시스템 및 pod 기반의 영상 처리 방법 |
| US20230345073A1 (en) * | 2022-03-16 | 2023-10-26 | Meta Platforms Technologies, Llc | Systems and methods for providing auxiliary manifests for media items |
| CN115222600B (zh) * | 2022-07-29 | 2023-04-07 | 大连理工大学 | 对比学习的多光谱遥感图像超分辨重建方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101289758B1 (ko) * | 2013-05-06 | 2013-07-26 | (주)오티에스 | Hd영상 가변스트리밍 전송시스템 및 전송방법 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2002334720B8 (en) * | 2001-09-26 | 2006-08-10 | Interact Devices, Inc. | System and method for communicating media signals |
| US20030204718A1 (en) * | 2002-04-29 | 2003-10-30 | The Boeing Company | Architecture containing embedded compression and encryption algorithms within a data file |
| KR101070981B1 (ko) * | 2009-11-05 | 2011-10-06 | 홍익대학교 산학협력단 | 경계선 성분 분류 기반 신경회로망 모델을 이용한 영상 화질 개선방법 |
| US9693110B2 (en) * | 2010-06-03 | 2017-06-27 | Cox Communications, Inc | Dynamic content stream management |
| CN103718190B (zh) * | 2011-07-29 | 2017-05-24 | 惠普发展公司，有限责任合伙企业 | 增量图像聚类 |
| TWI513291B (zh) * | 2013-12-12 | 2015-12-11 | Ind Tech Res Inst | 影像處理的方法、裝置及電腦可讀取媒體 |
| US9582739B2 (en) * | 2014-11-18 | 2017-02-28 | Harry Friedbert Padubrin | Learning contour identification system using portable contour metrics derived from contour mappings |
| EP3259911B1 (en) * | 2015-02-19 | 2021-04-07 | Magic Pony Technology Limited | Enhancing visual data using updated neural networks |
| KR101803471B1 (ko) * | 2016-02-15 | 2017-12-01 | 성균관대학교 산학협력단 | 컨볼루션 신경망 기반의 영상 패턴화를 이용한 딥러닝 시스템 및 이를 이용한 영상 학습방법 |
| US10057644B1 (en) * | 2017-04-26 | 2018-08-21 | Disney Enterprises, Inc. | Video asset classification |
| US10931988B2 (en) * | 2017-09-13 | 2021-02-23 | Amazon Technologies, Inc. | Distributed multi-datacenter video packaging system |
-
2018
- 2018-01-10 KR KR1020180003377A patent/KR102050780B1/ko active IP Right Grant
- 2018-03-19 US US15/924,637 patent/US10560731B2/en active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101289758B1 (ko) * | 2013-05-06 | 2013-07-26 | (주)오티에스 | Hd영상 가변스트리밍 전송시스템 및 전송방법 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102678872B1 (ko) * | 2022-12-27 | 2024-06-28 | 주식회사 모바이 | 영상 특성에 기초한 동영상 초해상화 방법 및 그 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20190093746A (ko) | 2019-08-12 |
| US20190215549A1 (en) | 2019-07-11 |
| US10560731B2 (en) | 2020-02-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102050780B1 (ko) | 신경망을 이용한 컨텐츠 인지 기반 컨텐츠 전송 서버 장치 및 방법 | |
| KR102082816B1 (ko) | 스트리밍 파일의 해상도 개선 방법 | |
| Yeo et al. | How will deep learning change internet video delivery? | |
| US11232598B2 (en) | Distinct encoding and decoding of stable information and transient/stochastic information | |
| CN110072119A (zh) | 一种基于深度学习网络的内容感知视频自适应传输方法 | |
| US9877056B1 (en) | Compressed media with still images selected from a video stream | |
| US11086843B2 (en) | Embedding codebooks for resource optimization | |
| US20230130807A1 (en) | Method for on-demand video editing at transcode-time in a video streaming system | |
| US11095901B2 (en) | Object manipulation video conference compression | |
| Huang et al. | A cloud computing based deep compression framework for UHD video delivery | |
| TW202041008A (zh) | 資訊處理裝置、再生處理裝置、資訊處理方法及再生處理方法 | |
| KR102130076B1 (ko) | 특징 영역의 학습 중요도를 바탕으로 스트리밍 파일의 해상도를 개선하는 방법 | |
| US11336902B1 (en) | Systems and methods for optimizing video encoding | |
| KR20220021495A (ko) | Ai에 기반하여 스트리밍 파일의 해상도를 개선하는 방법 | |
| KR20160098927A (ko) | 스트리밍 컨텐츠 제공 장치 및 방법 | |
| US10200429B2 (en) | Efficient and scalable caching and representation of media with cross-similarities | |
| CN111988661A (zh) | 将视觉对象合并到视频材料中 | |
| US20230276111A1 (en) | Video processing | |
| KR102414301B1 (ko) | Pod 기반의 영상 관제 시스템 및 pod 기반의 영상 처리 방법 | |
| KR102440794B1 (ko) | Pod 기반의 영상 컨텐츠 전송 방법 및 장치 | |
| US20240244229A1 (en) | Systems and methods for predictive coding | |
| US12058470B2 (en) | Video compression and streaming | |
| KR20230001453A (ko) | 사용자 선호도 기반의 트레일러 영상 생성 방법 및 이를 위한 사용자 단말기 | |
| He | Empowering Video Applications for Mobile Devices | |
| Wang | Low-Latency Adaptive Media Streaming: From 2D to 6-DoF |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |