KR101933696B1 - Vod service system based on ai video learning platform - Google Patents

Vod service system based on ai video learning platform Download PDF

Info

Publication number
KR101933696B1
KR101933696B1 KR1020180057904A KR20180057904A KR101933696B1 KR 101933696 B1 KR101933696 B1 KR 101933696B1 KR 1020180057904 A KR1020180057904 A KR 1020180057904A KR 20180057904 A KR20180057904 A KR 20180057904A KR 101933696 B1 KR101933696 B1 KR 101933696B1
Authority
KR
South Korea
Prior art keywords
vod
image
server
file
weight
Prior art date
Application number
KR1020180057904A
Other languages
Korean (ko)
Inventor
장경익
Original Assignee
주식회사 지디에프랩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 지디에프랩 filed Critical 주식회사 지디에프랩
Priority to KR1020180057904A priority Critical patent/KR101933696B1/en
Priority to US16/076,164 priority patent/US11368758B2/en
Priority to CN201880000956.8A priority patent/CN110754093A/en
Priority to JP2018549564A priority patent/JP2020524418A/en
Priority to PCT/KR2018/006330 priority patent/WO2019225793A1/en
Application granted granted Critical
Publication of KR101933696B1 publication Critical patent/KR101933696B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866Management of end-user data
    • H04N21/25891Management of end-user data being end-user preferences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4662Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
    • H04N21/4666Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms using neural networks, e.g. processing the feedback provided by the user
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4668Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies

Abstract

According to an embodiment of the present invention, an AI image learning platform-based VOD service system includes: a first server storing a VOD file, and providing a service for transmitting the VOD file in response to a request from a user device; a second server receiving the VOD file from the first sever to execute AI image learning for the individual VOD file, calculating a weight corresponding to the VOD file as a result of the AI image learning, and transmitting the weight corresponding to VOD file in response to a VOD transmission request generated from the user device; a DB storing an ID of the VOD file learned by the second server and the weight calculated as a result of the AI image learning; and the user device requesting the first server for the transmission of an image file, receiving the image file from the first server, and receiving a weight corresponding to the requested image file from the second server to execute the image file done with the application of the weight. Thus, the present invention is capable of enabling mobile VOD viewers to enjoy high-resolution videos at a lower communication expense.

Description

AI 영상학습 플랫폼 기반 VOD 서비스 시스템{VOD SERVICE SYSTEM BASED ON AI VIDEO LEARNING PLATFORM}{VOD SERVICE SYSTEM BASED ON AI VIDEO LEARNING PLATFORM}

본 발명은 AI 영상학습 플랫폼 기반의 VOD 서비스 시스템에 관한 것이다. 보다 구체적으로, 본 발명은 AI 기반의 SRCNN에 따라 영상학습을 수행하여 고화질의 VOD 파일로부터 고화질 복원에 요구되는 Weight를 산출하고, 추후 저화질 VOD 파일을 해당 VOD 파일에 대응하는 Weight을 이용하여 고화질 VOD 파일로 복원할 수 있도록 하는 VOD 서비스 시스템에 관한 것이다. The present invention relates to a VOD service system based on an AI image learning platform. More specifically, the present invention performs image learning according to an AI-based SRCNN to calculate a weight required for high-quality reconstruction from a high-quality VOD file, and then calculates a low-quality VOD file using a weight corresponding to the VOD file, To a VOD service system capable of restoring to a file.

전 세계적으로 스마트기기의 보급률은 갈수록 증가하고 있다. 특히, 국내의 스마트폰 보급률은 91%로 글로벌 56개국 중 1위이며, 모바일기기를 통한 동영상 시청 인구 또한 계속적으로 증가되어 국내의 경우 2017년 모바일 영상 트래픽은 2016년 58% 대비 74%이상 증가되었다.  The penetration rate of smart devices is increasing all over the world. In particular, the penetration rate of smartphones in Korea is 91%, which is the number one ranking among 56 countries in the world. Also, the number of video viewing through mobile devices continues to increase. In Korea, mobile video traffic increased by 74% in 2017 compared to 58% .

최근 몇 년 사이에 인공지능 기술은 모바일 기기에서의 활용 방법이 활발히 연구, 개발 되고 있다. 특히, 2015년을 기점으로 인공지능 기술의 활용이 가능한 비약적인 모바일 기기 성능 발전이 있었다. Google, Facebook, Apple, MS등 글로벌 대기업들이 공개하는 AI Open Source에서도 모바일 기기를 지원하기 시작하면서 모바일 기기에서의 인공지능 활용이 가능해지게 되었다. In recent years, artificial intelligence technology has been actively studied and developed in mobile devices. In particular, there has been a remarkable advancement in the performance of mobile devices that can utilize artificial intelligence technology starting from 2015. AI Open Source, which is open to global corporations such as Google, Facebook, Apple, and MS, has begun to support mobile devices, enabling the use of artificial intelligence in mobile devices.

한편, 기존 VOD 서비스는 사용자 환경에 맞추어 적응형(Adaptive) 스트리밍을 제공하기 위해 다수의 Bitrate별 영상(270p, 360p, 480p, 720p, 1080p등)과 단말기, 브로우저별로 영상포맷을 준비해야 했다. 이에 따라 VOD 서비스를 제공하는 콘텐츠 사업자 입장에서는 인코딩 비용과 트래픽 비용 발생되고, 이는 사용자의 요금부담으로 이어지게 되었다. Meanwhile, in order to provide adaptive streaming according to the user environment, the existing VOD service has to prepare video formats for each bitrate (270p, 360p, 480p, 720p, 1080p, etc.), terminals and browsers. As a result, content providers who provide VOD services incurred encoding costs and traffic costs, which resulted in user charges.

모바일 VOD 시청자 입장에서 갈수록 커지는 동영상 크기는 통신요금의 부담으로 작용되어 시청자를 부담스럽게 하여, 고화질 VOD 서비스를 제공하는 사업자의 수익으로 이어지지 못하고 있는 실정이다. 이에 따라 사용자가 체감하는 통신 용량의 부담은 줄이고 고화질 VOD 파일로 영상을 제공하기 위한 방안이 요구되고 있다. The increasing size of the video size from the viewpoint of the mobile VOD viewers is a burden of the communication fee, which burdens the viewers and does not lead to the profit of the provider providing the high-definition VOD service. Accordingly, it is required to reduce the burden on the communication capacity experienced by the user and to provide a video with a high-definition VOD file.

한편, 동영상의 해상도 향상과 관련된 종래 기술은 공개특허공보 10-2014-0081481(블록단위 영상 정합을 이용한 초해상도 영상 복원 방법 및 장치)호가 있다. On the other hand, the prior art related to the improvement of the resolution of the moving image is disclosed in Japanese Laid-Open Patent Publication No. 10-2014-0081481 (Method and apparatus for restoring super-resolution image using block unit image matching).

본 발명은 저해상도 영상을 고해상도로 복원 하는 인공지능 학습 알고리즘을 이용해 저해상도 영상파일만으로 멀티플랫폼, 멀티브로우저에서 고해상도 영상의 재생을 가능하게 하는 인공지능 VOD 플레이어를 개발하고, 이를 지원하기 위한 모바일 VOD파일 AI 학습 플랫폼을 개발하는 데 목적이 있다. The present invention develops an artificial intelligent VOD player capable of playing a high-resolution image from a multi-platform and a multi-browser using only a low-resolution image file using an artificial intelligent learning algorithm that restores a low-resolution image to a high resolution, The goal is to develop a learning platform.

본 발명의 실시 예에 따른 AI 영상학습 플랫폼 기반 VOD 서비스 시스템은 VOD 파일을 저장하고, 사용자 기기로부터의 요청에 따라 상기 VOD 파일의 전송 서비스를 제공하는 제 1서버, 상기 제 1서버로부터 VOD 파일을 제공받아, 개별 VOD 파일에 대한 AI 영상학습을 수행하고, 상기 AI 영상학습의 결과로 개별 VOD 파일에 대응하는 Weight를 산출하며, 사용자 기기로부터 발생된 VOD 전송 요청에 대응하여 요청된 VOD 파일에 대응하는 Weight를 사용자 기기에 전송하는 제 2서버, 상기 제 2서버에 의해 학습된 VOD파일의 아이디 및 상기 VOD파일의 AI 영상학습의 결과로 산출된 Weight를 저장하는 DB 및 상기 제 1서버에 영상 파일 전송을 요청하고, 상기 제 1서버로부터 영상 파일을 수신하며, 제 2서버로부터 전송 요청한 영상 파일에 대응하는 Weight를 수신하여 상기 Weight를 적용한 영상 파일을 실행시키는 사용자 기기를 포함할 수 있다. A VOD service system based on an AI image learning platform according to an embodiment of the present invention includes a first server that stores a VOD file and provides a transmission service of the VOD file in response to a request from a user device, A weight corresponding to an individual VOD file is calculated as a result of the AI image learning, and a corresponding VOD file corresponding to a VOD transmission request generated by the user device is received A DB for storing the ID of the VOD file learned by the second server and the weight calculated as a result of the AI image learning of the VOD file, Receives the image file from the first server, receives the weight corresponding to the image file requested to be transmitted from the second server, and applies the weight It may include a user device to execute an image file.

본 발명은 모바일 VOD시청자가 기존보다 적은 통신비용으로 고해상도 영상을 즐길 수 있도록 하는 효과가 있다. The present invention has an effect of allowing a mobile VOD viewer to enjoy a high-resolution image with less communication cost than the conventional mobile VOD viewer.

비교적 짧은 시간동안의 통신만으로 고해상도의 영상을 재생할 수 있게 하므로, 네트워크 인프라가 열악한 해외에서도, 고화질 영상을 재생할 수 있게 된다.It is possible to reproduce a high-resolution image with only a relatively short communication time, thereby enabling a high-quality image to be reproduced even in a foreign country having a poor network infrastructure.

본 발명의 실시 예에 따른 AI 학습 플랫폼과 고해상도 영상 재생기술은 다양한 비지니스 모델에 적용 가능하며, 이에 따라 IPTV, VOD, CCTV 등 영상과 관련된 다양한 산업 분야에서 고해상도의 영상을 제공받을 수 있다.The AI learning platform and the high-resolution image reproducing technology according to the embodiment of the present invention can be applied to various business models, and accordingly high-resolution images can be received in various industrial fields related to image such as IPTV, VOD, and CCTV.

본 발명은 영상 재생 기술을 고도화하여 미리 학습된 특정 영역에 특화된 인공지능 영상 처리 서비스로부터 모든 산업분야에 사용가능한 AI 학습 플랫폼을 제공할 수 있다.The present invention can provide an AI learning platform that can be used in all industrial fields from an artificial intelligence image processing service specialized in a specific area learned by upgrading the image reproducing technology.

도 1 및 도 2는 본 발명의 실시 예에 따른 VOD 서비스 시스템의 구성을 도시한 도면이다.
도 3은 본 발명의 실시 예에 따른 제 2서버의 구성을 도시한 블록도이다.
도 4는 본 발명의 실시 예에 따른 AI 영상 학습 동작의 순서를 도시한 순서도이다.
도 5는 본 발명의 실시 예에 따라 제 2서버에서 해상도 복원을 수행하기 위한 동작의 순서를 도시하는 순서도이다.
FIG. 1 and FIG. 2 are diagrams showing a configuration of a VOD service system according to an embodiment of the present invention.
3 is a block diagram illustrating a configuration of a second server according to an embodiment of the present invention.
4 is a flowchart showing a sequence of an AI image learning operation according to an embodiment of the present invention.
5 is a flowchart showing a sequence of operations for performing resolution restoration in a second server according to an embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.While the invention is susceptible to various modifications and alternative forms, specific embodiments thereof are shown by way of example in the drawings and will herein be described in detail.

그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention. Like reference numerals are used for like elements in describing each drawing.

어떤 구성요소가 다른 구성요소에 '연결되어' 있다거나 '접속되어'있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 '직접 연결되어'있다거나 '직접 접속되어'있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.It is to be understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, . On the other hand, when an element is referred to as being "directly connected" or "directly connected" to another element, it should be understood that there are no other elements in between.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, '포함하다' 또는 '가지다' 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used in this application is used only to describe a specific embodiment and is not intended to limit the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In this application, the terms "comprises", "having", and the like are intended to specify the presence of stated features, integers, steps, operations, components, parts, or combinations thereof, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.

도 1 및 도 2는 본 발명의 실시 예에 따른 VOD 서비스 시스템의 구성을 도시한 도면이다. FIG. 1 and FIG. 2 are diagrams showing a configuration of a VOD service system according to an embodiment of the present invention.

도 1을 참조하여 설명하면, 본 발명의 실시 예에 따른 VOD 서비스 시스템은 제 1서버 100, 제 2서버 200, 제 2서버와 연동되는 DB 220를 포함하여 구성될 수 있으며, 상기 구성 요소에 기반하여 AI 영상 학습이 수행될 수 있다. 이 때, 상기 AI 영상 학습이란, 딥러닝 학습 알고리즘인 SRCNN 기반의 고해상도 이미지 복원 기술에 기반하여, 저해상도 영상에서 고해상도 영상 복원에 요구되는 Weight(가중치 파라미터)를 산출하는 동작을 의미할 수 있다, 1, the VOD service system according to the embodiment of the present invention may include a first server 100, a second server 200, and a DB 220 interlocked with a second server, So that the AI image learning can be performed. In this case, the AI image learning may be an operation of calculating a weight (weight parameter) required for reconstructing a high-resolution image from a low-resolution image, based on SRCNN-based high-resolution image restoration technology, which is a deep learning learning algorithm.

먼저, 제 1 서버 100는 일반적인 VOD 제공 서버를 의미할 수 있다. 제 1 서버 100는 상기 도면에 도시되지 않았으나, VOD 파일들을 저장하는 별도의 DB를 포함할 수 있으며, 제 1서버 100는 해당 DB에 저장되어 있는 VOD 파일을 사용자 기기측에 전송할 수 있다. First, the first server 100 may mean a general VOD server. The first server 100 may include a separate DB for storing VOD files, though not shown in the figure, and the first server 100 may transmit the VOD file stored in the DB to the user device.

상기 제 2서버 200는 본 발명의 실시 예에 따라 AI 영상 학습을 수행하는 서버를 의미할 수 있다. 이 때 상기 제 2서버 200는 제 1서버 100에 기 업로드되어 있는 VOD 파일들에 대하여 AI 영상학습을 수행할 수 있다. 그리고 상기 제 2서버 200는 AI 영상학습을 수행한 결과로 생성된 Weight를 제 2서버와 연동되는 DB 220에 별도로 저장할 수 있으며, 이 때 생성된 Weight는 해당 VOD 파일에 대한 ID와 함께 저장될 수 있다. 이로써, 추후 제 1서버 100가 특정 VOD 파일의 전송(예, 스트리밍)을 요청받으면, 해당 VOD의 ID정보가 제 2서버 200측에 전달되고, 제 2서버 200는 해당 ID에 대응하는 Weight를 검출하여 사용자 기기측에 제공할 수 있게 된다. The second server 200 may mean a server that performs AI image learning according to an embodiment of the present invention. At this time, the second server 200 can perform AI image learning on the VOD files uploaded to the first server 100. In addition, the second server 200 may separately store the weight generated as a result of AI image learning in the DB 220 interlocked with the second server, and the generated weight may be stored together with the ID of the corresponding VOD file have. Accordingly, when the first server 100 receives a request for transmission (e.g., streaming) of a specific VOD file, the VOD ID information is transmitted to the second server 200 side, and the second server 200 detects a weight corresponding to the ID And can be provided to the user equipment side.

이 때 제 2서버 200는 AI 영상 학습 수행 시, 산출되는 Weight의 용량이 기 설정된 크기 이하(예, 10Mb 이하)가 되도록 설정할 수 있다. At this time, the second server 200 can set the capacity of the calculated weight to be less than a predetermined size (for example, 10 Mb or less) at the time of AI image learning.

도 1의 제 2서버 200의 우측을 참조하면, 제 2서버 200에서 수행하는 AI 영상 학습의 동작의 예시가 개략적으로 도시되어 있다. 제 2서버 200가 수행하는 AI 영상 학습에 대하여 간단히 설명하면, 다음과 같다. Referring to the right side of the second server 200 of FIG. 1, an example of the operation of the AI image learning performed by the second server 200 is schematically shown. The AI image learning performed by the second server 200 will be briefly described as follows.

본 발명의 실시 예에 따른 제 2서버 200가 수행하는 AI 영상 학습은 딥러닝 알고리즘(예, SRCNN; Super Resolution Convolution Neural Networks활용)을 활용해 저해상도의 영상을 고해상도 영상으로 복원할 수 있는 Weight를 산출하는 동작이다. 이렇게 추출된 상기 Weight는 추후 사용자 기기 300에서 저해상도 VOD파일을 인공지능 테스트 과정(제 2서버에서 학습 과정을 수행하고, 사용자 기기에서 테스트 과정을 수행할 수 있음)을 거쳐 고해상도 VOD파일로 변환할 시 사용되는 가중치 파라미터일 수 있다. The AI image learning performed by the second server 200 according to the embodiment of the present invention uses a deep learning algorithm (for example, SRCNN, Super Resolution Convolution Neural Networks) to calculate a weight for restoring a low resolution image to a high resolution image . The weight extracted in this way is used to convert a low-resolution VOD file into a high-resolution VOD file through an artificial intelligent testing process (a learning process is performed in a second server and a test process can be performed by a user device) And may be a weight parameter used.

기본적인 CNN의 동작 방식은 하나의 이미지를 filter를 통해 일부분의 영역을 하나씩 스캔하여 그것에 대한 값을 찾아내면서 학습시키는 방법을 사용한다. 이 때 적절한 Weight값을 갖는 Filter를 찾는 것이 CNN의 목표가 된다. The basic CNN operation method uses a method of scanning a partial area of an image through a filter one by one and finding a value therefor and learning. CNN's goal is to find a filter with the appropriate weight.

상기 DB 220는 개별 VOD 파일의 학습 결과인 Weight를 해당 VOD에 대한 ID 별로 저장할 수 있다. The DB 220 can store the weight, which is a learning result of an individual VOD file, for each VOD ID.

상기 DB 220에 저장되는 Weight는 예컨대, 표 1에서 도시되는 바와 같이 VOD ID별로 지정되어 있을 수 있으며, Weight 단에는 사용자 기기상에서 이미지 해상도 복원에 요구되는 Weight(가중치 파라미터)와 함께, 영상의 해상도 향상 정도(예, 480p에서 720p로 향상)에 대한 정보를 포함할 수 있다. The weight stored in the DB 220 may be designated for each VOD ID as shown in Table 1. For example, in the Weight stage, a weight (parameter of weight) required for restoring image resolution on the user equipment, (E.g., improved from 480p to 720p).

VOD IDVOD ID Learning WeightLearning Weight A000001A000001 480p→720p480p → 720p A000002A000002 720p→1080p720p → 1080p A000003A000003 1080p→UHD1080p → UHD ........ .............. Z025432Z025432 1080p→UHD1080p → UHD

다양한 실시 예에 따라, 상기 DB 220에 저장되는 VOD ID는 콘텐츠 항목(예, 영화, 뮤직 비디오, 드라마 등), 재생 시간, 줄거리, 등장인물, 기 재생 횟수 등의 콘텐츠 관련 정보에 기반하여 부여될 수 있다. 예컨대, 영화 관련 VOD는 A, 드라마 관련 VOD는 B로 ID를 시작하도록 ID 부여 방식이 정해질 수 있다.According to various embodiments, the VOD ID stored in the DB 220 may be assigned based on content related information such as a content item (e.g., a movie, a music video, a drama, etc.), a playing time, plot, characters, . For example, an ID giving method can be determined so that the movie-related VOD is A and the drama-related VOD is B and the ID is started.

앞서, 도 1을 참조하여 제 2서버 200에서 수행되는 AI 영상 학습 동작에 관하여 설명하였다. 이하에서는 도 2를 참조하여, 사용자 기기를 통해 수행되는 고화질 VOD 제공 동작에 관하여 설명하기로 한다. The AI image learning operation performed in the second server 200 has been described with reference to FIG. Hereinafter, an operation of providing a high-definition VOD performed through a user equipment will be described with reference to FIG.

도 2를 참조하면 본 발명의 실시 예에 따른 기본 구성인 제 1서버 100와 제 2서버 200, 그리고 DB 220가 도시되어 있고, 그와 더불어 사용자 기기 300가 함께 도시되고 있다. 도 1에서 설명한 바와 같이, 제 1 서버 100는 종래의 일반적인 방식으로 VOD 전송(스트리밍 포함)하는 서버를 의미할 수 있으며, 사용자 기기 300로부터 임의의 VOD 전송을 요청받으면, 해당 VOD파일을 사용자 기기 300측에 무선 통신을 통해 전송할 수 있다. 이 때 상기 제 1서버 100에서 사용자 기기 300측에 전송되는 VOD 파일은 기준값 이하의 해상도를 갖는 VOD 파일일 수 있다. Referring to FIG. 2, a first server 100, a second server 200, and a DB 220, which are basic components according to an embodiment of the present invention, are shown together with a user device 300. As described in FIG. 1, the first server 100 may refer to a server that transmits VOD (including streaming) in a conventional general manner. When a request for a VOD transmission is received from the user device 300, the VOD file is transmitted to the user device 300 Via wireless communication. At this time, the VOD file transmitted from the first server 100 to the user device 300 may be a VOD file having a resolution lower than a reference value.

제 2 서버 200는 제 1서버 100에서 사용자 기기 300측으로 전송되는 특정 VOD 파일에 대한 정보를 전달받고, 그에 대응하여 상기 특정 VOD 파일에 대응하는 Weight 정보를 DB 220에서 탐색한 후 사용자 기기 300측에 전달하도록 제어할 수 있다. 또는 상기 제 2서버 200는 제 1서버 100와 함께 사용자 기기 300로부터 직접 해당 VOD파일 요청 신호를 수신하고, 요청된 VOD 파일에 대응하는 Weight 정보를 탐색하여 사용자 기기 300측에 제공할 수 있다. The second server 200 receives the information on the specific VOD file transmitted from the first server 100 to the user device 300, searches the DB 220 for the weight information corresponding to the specific VOD file, . Alternatively, the second server 200 may receive the VOD file request signal directly from the user device 300 together with the first server 100, and may search for the weight information corresponding to the requested VOD file and provide the weight information to the user device 300.

즉, 제 1서버 100에서는 VOD 파일(이하, 제 1서버에서 수신되는 VOD를 제 1 VOD 파일로 명명)을 인터넷을 통해 사용자 기기 300측에 전송하고, 제 2 서버 200는 연동된 DB 220에서 탐색된 Weight 정보를 인터넷을 통해 사용자 기기 300측에 전송할 수 있다. That is, the first server 100 transmits a VOD file (hereinafter, the VOD received from the first server is referred to as a first VOD file) to the user device 300 through the Internet, and the second server 200 searches Weight information to the user device 300 through the Internet.

이에 따라 사용자 기기 300는 저해상도 VOD 파일과, Weight를 모두 수신할 수 있게 되며, 사용자 기기 300 내에 저장된 AI 고해상도 VOD 재생 프로그램 301을 통해 고해상도 VOD파일(이하, 사용자 기기 300상에서 복원된 고해상도 VOD파일을 제 2 VOD 파일로 명명)을 재생할 수 있게 된다. As a result, the user device 300 can receive both the low-resolution VOD file and the weight, and the high-resolution VOD file (hereinafter, referred to as the high-resolution VOD file restored on the user device 300) 2 VOD file) can be played back.

사용자 기기 300는 AI 고해상도 VOD 재생 프로그램 301을 통해 제 1서버로부터 수신한 제 1 VOD 파일을 재생하게 되는데, 이 때 상기 AI 고해상도 VOD 재생 프로그램 301에서는 해당 프로그램에 대응하는 Weight 정보가 사용자 기기 300 내 존재하는지 여부(또는 제 2서버 200로부터 스트리밍되는지 여부)를 판단하고, 대응 Weight가 존재하면, 상기 원본 VOD파일 및 상기 Weight를 가지고 복원 과정을 거쳐 제 2 VOD파일(고해상도 VOD)을 생성할 수 있다. AI 고해상도 VOD 재생 프로그램 301은 예컨대, 원본 VOD 파일이 SD 영상일 경우 HD 영상으로, HD 영상일 경우 FHD 영상으로 변환시켜 플레이할 수 있다. 나아가, 상기 AI 고해상도 VOD 재생 프로그램 301은 Weight 정보 종류에 따라 SD 영상을 FHD 영상으로 복원할 수도 있다. 이 때 복원되는 제 2 VOD파일의 해상도(크기)는 Weight 정보에 포함된 사이즈 정보(예, 표 1의 'Learning weight'단에 기재된 사항)에 기반하여 결정될 수 있다. The user device 300 plays back the first VOD file received from the first server through the AI high resolution VOD playback program 301. At this time, in the AI high definition VOD playback program 301, weight information corresponding to the program is present in the user device 300 (Or whether it is streamed from the second server 200). If there is a corresponding weight, the second VOD file (high-resolution VOD) can be generated through the restoration process with the original VOD file and the weight. The AI high-definition VOD playback program 301 can be converted into an HD video if the original VOD file is an SD video and converted into an FHD video if it is an HD video. Furthermore, the AI high-resolution VOD playback program 301 may restore the SD image to the FHD image according to the weight information type. The resolution (size) of the second VOD file to be reconstructed at this time may be determined based on size information (for example, items described in the 'Learning weight' section of Table 1) included in the weight information.

도 3은 본 발명의 실시 예에 따른 제 2서버의 구성을 도시한 블록도이다. 3 is a block diagram illustrating a configuration of a second server according to an embodiment of the present invention.

도 3은 통신부 210, DB 220, 제어부 230를 포함하여 구성될 수 있고, 상기 제어부 230는 해상도 판단부 231, AI 영상 학습부 232, 객체 이미지 추출부 233, 콘텐츠 정보 수집부 234, 사용자 시청 정보 수집부 235, 사용자 시청 취향 정보 산출부 236을 포함하여 구성되 수 있다. 3, the controller 230 includes a resolution determining unit 231, an AI image learning unit 232, an object image extracting unit 233, a content information collecting unit 234, a user viewing information collecting unit A user viewing preference information calculation unit 236, and a user viewing preference information calculation unit 236. [

상기 통신부 210는 사용자 디바이스와 서버 간의 데이터 송수신을 위해 네트워크를 이용할 수 있으며 상기 네트워크의 종류는 특별히 제한되지 않는다. 상기 네트워크는 예를 들어, 인터넷 프로토콜(IP)을 통하여 대용량 데이터의 송수신 서비스를 제공하는 아이피(IP: Internet Protocol)망 또는 서로 다른 IP 망을 통합한 올 아이피(All IP) 망일 수 있다. 또한, 상기 네트워크는 유선망, Wibro(Wireless Broadband)망, WCDMA를 포함하는 이동통신망, HSDPA(High Speed Downlink Packet Access)망 및 LTE(Long Term Evolution) 망을 포함하는 이동통신망, LTE advanced(LTE-A), 5G(Five Generation)를 포함하는 이동통신망, 위성 통신망 및 와이파이(Wi-Fi)망 중 하나 이거나 또는 이들 중 적어도 하나 이상을 결합하여 이루어질 수 있다.The communication unit 210 can use a network for transmitting / receiving data between a user device and a server, and the type of the network is not particularly limited. The network may be, for example, an IP (Internet Protocol) network that provides a large capacity data transmission / reception service through an Internet Protocol (IP) or an All IP network that integrates different IP networks. The network may be a mobile communication network including a wired network, a Wibro (Wireless Broadband) network, a mobile communication network including a WCDMA, a High Speed Downlink Packet Access (HSDPA) network and an LTE (Long Term Evolution) network, ), A 5G (Five Generation) mobile communication network, a satellite communication network, and a Wi-Fi network, or a combination of at least one of them.

본 발명의 실시 예에 따른 상기 통신부 210는 사용자 기기 300 또는 제 1서버 100로부터 특정 VOD 파일에 대응하는 Weight를 탐색 및 사용자 기기 300측에 전송하도록 하는 요청신호를 수신할 수 있다. 또한 상기 통신부 210는 요청된 VOD 에 대응하는 Weight를 사용자 기기 300측에 전송할 수 있다. 이 외에도 상기 통신부 210는 사용자 개인 정보 및 VOD와 관련되는 콘텐츠 정보 등을 제 1서버, 사용자 기기 및 기타 웹 서버로부터 수집할 수 있다. The communication unit 210 according to the embodiment of the present invention may receive a request signal for searching the user device 300 or the first server 100 for a weight corresponding to a specific VOD file and transmitting the weight to the user device 300 side. Also, the communication unit 210 may transmit a weight corresponding to the requested VOD to the user equipment 300 side. In addition, the communication unit 210 may collect user personal information and content information related to the VOD from a first server, a user device, and other web servers.

상기 DB 220는 상기 제 2 서버 200와 연동되어 제 2 서버 200에서 산출되는 Weight 정보가 저장되는 장치이다. 다양한 실시 예에 따라, 상기 DB 220는 제 2서버 200와 별도로 구성될 수 있으며 제 2서버 200로부터 전송되는 Weight정보를 유무선 통신을 통해 수신하여 저장할 수 있다. The DB 220 stores weight information calculated by the second server 200 in cooperation with the second server 200. According to various embodiments, the DB 220 may be configured separately from the second server 200, and may receive and store weight information transmitted from the second server 200 through wired / wireless communication.

상기 DB 220는 VOD 파일별 Weight정보를 저장할 수 있으며, 상기 Weight정보에는 저화질 영상을 AI 기반 영상처리 동작에 따라 고화질 영상으로 변환하는 데 요구되는 가중치 파라미터인 Weight 와 더불어, 해당 Weight를 적용할 경우 산출되는 최종 해상도정보(예, HD-UHD; HD에서 UHD로 해상도 보정됨을 의미하는 정보)를 함께 포함하여 저장할 수 있다. The DB 220 may store weight information for each VOD file. The weight information includes a weight parameter, which is a weight parameter required to convert a low-quality image into a high-quality image according to an AI-based image processing operation, (E.g., HD-UHD (information meaning resolution-corrected from HD to UHD) together with the final resolution information (e.g., HD-UHD).

상기 제어부 230는 해상도 판단부 231, AI 영상 학습부 232, 객체 이미지 추출부 233, 콘텐츠 정보 수집부 234, 사용자 시청 정보 수집부 235, 사용자 시청 취향 정보 산출부 236을 포함하여 구성될 수 있다. The control unit 230 may include a resolution determination unit 231, an AI image learning unit 232, an object image extraction unit 233, a content information collection unit 234, a user viewing information collection unit 235, and a user viewing preference information calculation unit 236.

상기 제어부 230는 제 1 서버 100로부터 획득되는 동영상 파일에 대하여 SRCNN (Super Resolution Convolution Neural Networks, 이하 SRCNN)로 불리우는 딥러닝 알고리즘을 활용해 저해상도의 영상을 고해상도 영상으로 복원할 수 있도록 하는 정보인 Weight를 산출할 수 있다. 또한 상기 제어부 230는 사용자의 시청 정보 및 제 1서버 100로부터 획득된 VOD 동영상 정보들에 관한 정보를 수집하고, 수집된 정보를 일정 기준에 따라 분류하며, 이를 통해 사용자 특성에 맞춘 VOD 제공(예, 사용자 관심사별 VOD 추천)기능을 수행할 수 있다. The control unit 230 uses the deep learning algorithm called SRCNN (SRCNN) to reconstruct a low-resolution image into a high-resolution image, Can be calculated. In addition, the controller 230 collects information on the user's viewing information and VOD moving picture information obtained from the first server 100, classifies the collected information according to a predetermined criterion, and provides VOD (e.g., VOD recommendation per user interest).

보다 상세하게는, 상기 제어부 230는 상기 해상도 판단부 231, AI 영상 학습부 232, 객체 이미지 추출부 233를 통해 저화질 파일을 고화질 파일로 복원하는 데 요구되는 Weight정보를 산출할 수 있으며, 콘텐츠 정보 수집부 234, 사용자 시청 정보 수집부 235, 사용자 시청 취향 정보 산출부 236를 통해 사용자 특성에 맞춘 VOD 서비스를 제공할 수 있다. More specifically, the control unit 230 may calculate weight information required to restore a low-quality file to a high-quality file through the resolution determination unit 231, the AI image learning unit 232, and the object image extraction unit 233, The user viewing information collecting unit 235, and the user viewing preference information calculating unit 236. The VOD service can be provided according to the user characteristics.

먼저, 상기 해상도 판단부 231는 제 1서버 100로부터 획득된 VOD 파일의 해상도가 기설정된 수준 이상의 해상도인지 여부를 판단할 수 있다. 해상도 판단 결과에 따라 상기 AI 영상 학습부 232는 획득된 영상에 대한 영상 학습 방식을 결정할 수 있다. 먼저, 상기 해상도 판단부 231가 제 1 VOD 파일의 해상도를 판단한 결과, 해상도가 기 설정된 수준 이상의 고해상도인 것으로 판단된 경우, 상기 AI 영상 학습부 232는 제 1 VOD 파일을 기반으로 저해상도 영상을 추출하고 추출된 저해상도 영상과 고해상도 영상의 Patch를 이용해 AI 영상학습(예, SRCNN)을 수행할 수 있다. 이 때 상기 AI 영상 학습부 232는 영상 학습의 결과로 저해상도 영상에서 고해상도 영상을 구현하는데 요구되는 정보인 Weight 정보를 산출하게 된다. 그리고 상기 AI 영상 학습부 232는 산출된 Weight 정보를 해당 VOD 파일의 ID 정보와 함께 DB 220에 별도 저장하도록 제어할 수 있다. First, the resolution determination unit 231 can determine whether the resolution of the VOD file acquired from the first server 100 is higher than a predetermined level. The AI image learning unit 232 can determine an image learning method for the acquired image according to the resolution determination result. If the resolution determining unit 231 determines that the resolution is higher than a predetermined level as a result of the determination of the resolution of the first VOD file, the AI image learning unit 232 extracts a low-resolution image based on the first VOD file AI image learning (eg, SRCNN) can be performed using the extracted low-resolution image and high-resolution image patches. At this time, the AI image learning unit 232 calculates weight information, which is information required to implement a high-resolution image from a low-resolution image as a result of image learning. The AI image learning unit 232 may control to store the calculated weight information together with the ID information of the corresponding VOD file in the DB 220 separately.

한편, 제 1서버 100로부터 획득된 제 1 VOD 파일의 해상도가 기 설정된 해상도 미만의 저화질 영상인 경우, 해당 VOD 파일로부터 추출된 다수개의 이미지를 기반으로 학습하여 Weight 산출할 수 있다. 이 때 제 1 VOD 파일로부터 추출된 다수개의 이미지는 모두 기설정된 해상도 미만의 저화질 이미지이며, 추출된 다수개의 저화질 이미지들의 자기 유사성을 이용하여 해상도를 향상시킬 수 있는 Weight를 산출할 수 있다. 이 경우 상기 AI 영상 학습부 232는 본 발명의 다양한 실시 예에 따라 SRCNN 외의 방식으로 AI 영상 학습을 수행하고, 이를 기반으로 Weight를 산출할 수 있다. On the other hand, if the resolution of the first VOD file obtained from the first server 100 is a low-quality image with a resolution lower than a predetermined resolution, the weight can be calculated by learning based on a plurality of images extracted from the VOD file. At this time, all of the plurality of images extracted from the first VOD file are low-quality images of less than predetermined resolution, and the weight that can improve the resolution can be calculated by using the self-similarity of the plurality of extracted low-quality images. In this case, the AI image learning unit 232 can perform AI image learning in a manner other than SRCNN according to various embodiments of the present invention, and calculate a weight based on the AI image learning.

상기 해상도 판단부 231의 해상도 판단 동작은 생략되고 일괄적으로 모든 VOD 파일에 대하여 동일한 방식의 영상 학습 방식을 수행할 수도 있다.The resolution determination operation of the resolution determination unit 231 may be omitted and the same video learning method may be performed for all the VOD files at once.

상기 AI 영상 학습부 232는 SRCNN 방식에 따라 AI 영상 학습을 수행하는 것을 특징으로 하나, 이에 제한되는 것은 아니며, 다양한 실시 예에 따라, 기타의 방식(예, VDSR, DRCN)에 따른 AI 영상학습을 수행하고 VOD 파일별 Weight 정보를 산출할 수 있다. The AI image learning unit 232 performs AI image learning according to the SRCNN scheme. However, the AI image learning unit 232 may perform AI image learning according to other methods (e.g., VDSR, DRCN) according to various embodiments. And calculate weight information for each VOD file.

상기 객체 이미지 추출부 233는 제 1 VOD 파일로부터 Weight 추출 시, 전체 이미지의 사이즈가 기 설정된 수준 이상이거나, Weight의 용량이 기 설정된 용량 수준 이상인 경우, 제 1 VOD 파일의 이미지 중 일부 이미지만을 선택적으로 샘플링할 수 있다. 상기 객체 이미지 추출부 233에서 샘플링된 일부 이미지는 예컨대, 모서리 부분을 제외한 중심 영역의 이미지가 해당될 수 있다. 또한 상기 객체 이미지 추출부 233는 제 1 VOD 파일이 포함하는 이미지들 중 기 설정된 객체(예, 인물 얼굴)이 감지되는 영역에 대하여 별도로 샘플링(예, 객체 이미지 샘플링)을 수행할 수 있다. 상기 객체 이미지 추출부 233에서 추출된 샘플링 이미지는 이후 상기 AI 영상 학습부 232에서 수행하는 AI 영상 학습을 거쳐 객체 이미지용 Weight를 산출할 수 있게 된다. 상기 객체 이미지용 Weight는 사용자 기기 300에서 객체 중심의 해상도 보정을 요청할 경우, 제공될 수 있으며, 상기 객체 이미지용 Weight는 전체 VOD 파일의 이미지 영역중 기 설정된 영역(객체 이미지로 샘플링된 영역)의 해상도만을 복원하는데 사용될 수 있다. 상기 객체 이미지용 Weight는 전체 이미지가 아닌 일부 이미지에 대하여만 적용되는 값이므로 Weight 용량의 크기를 감소시키고, 영상의 해상도 복원에 필요한 리소스와 시간을 절약할 수 있도록 하는 효과가 있다. When extracting the weight from the first VOD file, the object image extracting unit 233 selectively extracts only some of the images of the first VOD file when the size of the entire image is equal to or higher than a predetermined level, or the capacity of the weight is equal to or greater than a predetermined capacity level Can be sampled. Some images sampled by the object image extracting unit 233 may correspond to, for example, an image of a center region excluding corner portions. In addition, the object image extracting unit 233 may perform sampling (e.g., object image sampling) on an area in which a predetermined object (e.g., a face) of the images included in the first VOD file is detected. The sampled image extracted by the object image extracting unit 233 can be used to calculate the object image weight through the AI image learning performed by the AI image learning unit 232. [ The weight for the object image may be provided when requesting center-based resolution correction in the user equipment 300. The weight for the object image may be a resolution of a predetermined region (region sampled by the object image) of the image region of the entire VOD file Lt; / RTI > Since the weight for the object image is a value that is applied only to a part of the image rather than the entire image, it has the effect of reducing the size of the weight capacity and saving resources and time required for restoration of the resolution of the image.

일 실시 예에서, 상술한 실시 예에 따라 객체 중심의 Weight를 이용한 해상도 보정이 제공되는 경우, 사용자 기기 300는 객체 기반의 Weight 검색 및 해상도 보정을 요청 및 수행할 수 있다.In one embodiment, when resolution correction using an object-based weight is provided according to the above-described embodiment, the user device 300 can request and perform object-based weight search and resolution correction.

예를 들어, 사용자 기기 300가 재생하고자 하는 영상 파일에 대한 정보가 없는 경우, 사용자 기기 300는 해당 영상 파일에 대한 Weight를 획득할 수 없고, 따라서 해상도 보정을 수행하기 어려울 수 있다. 예를 들어, 영상 파일은 제목(또는 ID)이 없는 동영상 프로그램이거나, 영화의 일부 장면을 편집한 클립 영상일 수 있다.For example, if there is no information about the image file to be reproduced by the user device 300, the user device 300 can not acquire the weight for the image file, and therefore it may be difficult to perform the resolution correction. For example, the video file may be a video program without title (or ID), or a clip video that edits a partial scene of the movie.

이 경우, 사용자 기기 300는 영상 파일로부터 하나 이상의 객체를 추출하고, 추출된 객체를 식별할 수 있다. 객체의 식별에는 기존에 학습된 모델이 활용될 수 있으며, 모델의 학습은 사용자 기기 300 또는 적어도 하나의 서버에서 미리 수행될 수 있다. 예를 들어, 사용자 기기 300는 영상 파일에 등장하는 캐릭터, 배우, 건물 및 소품 등 특정 객체를 식별 및 인식할 수 있으며, 이에 대응하는 영상의 종류 및 해당 영상의 장면을 검색 및 획득할 수 있다.In this case, the user device 300 may extract one or more objects from the image file and identify the extracted objects. The previously learned model may be utilized for identification of the object, and the learning of the model may be performed in advance in the user device 300 or at least one server. For example, the user device 300 can identify and recognize a specific object such as a character, an actor, a building, and a small object appearing in a video file, and can search for and acquire the type of the corresponding video and the scene of the corresponding video.

사용자 기기 300는 획득된 정보에 기초하여 사용자 기기 300 또는 제 2서버200 로부터 Weight를 획득한다. 실시 예에 따라서, 대응하는 Weight가 없는 경우, 사용자 기기 300는 영상 파일에 대응하는 고화질의 영상을 서버에서 검색하고, 검색된 고화질 영상을 이용하여 Weight를 획득하기 위한 AI 영상 학습을 수행할 수 있다. Weight 획득을 위한 학습에는 시간이 소요되므로, 사용자 기기 300는 사용자의 스트리밍 대상 플레이리스트에 저장되거나, 사용자 기기 300에 저장된 하나 이상의 영상 파일에 대해여 백그라운드에서 상기한 동작을 수행하고, 사용자가 시청하기 전에 미리 서버를 통해 학습을 진행하고, 학습이 완료되면 Weight를 획득하여 저장해둘 수 있다.The user equipment 300 acquires a weight from the user equipment 300 or the second server 200 based on the acquired information. According to an exemplary embodiment, when there is no corresponding weight, the user device 300 may search the server for a high-quality image corresponding to the image file, and perform AI image learning to acquire a weight using the searched high-quality image. Since the learning for weight acquisition is time consuming, the user device 300 may perform the above-described operations on the at least one image file stored in the streaming target play list of the user or stored in the user device 300, You can advance through the server in advance and acquire and save the weight when learning is completed.

다른 예로, 사용자 기기 300가 재생하고자 하는 영상 파일에 대응하는 Weight가 사용자 기기 300 또는 제 2서버 200에 저장되어 있지 않는 경우, 사용자 기기 300는 별도의 학습절차 없이 객체 기반의 해상도 복원을 수행할 수 있다.As another example, if the weight corresponding to the image file to be reproduced by the user device 300 is not stored in the user device 300 or the second server 200, the user device 300 can perform object-based resolution restoration without a separate learning procedure have.

예를 들어, 사용자 기기 300는 상술한 방법에 따라 영상 파일로부터 하나 이상의 객체를 추출하고, 추출된 객체를 식별할 수 있다. 예를 들어, 사용자 기기 300는 영상 파일에 등장하는 캐릭터, 배우, 건물 및 소품 등 특정 객체를 식별 및 인식할 수 있으며, 이에 대응하는 객체 이미지용 Weight를 사용자 기기 300 또는 제 2서버 200 로부터 획득할 수 있다. 예를 들어, 특정 영화에 대한 Weight는 저장되어 있지 않아도, 해당 영화에 출연하는 배우에 대한 Weight는 이미 저장되어 있을 수 있다. 이 경우, 사용자 기기 300는 해당 배우에 대한 Weight를 획득하고, 획득된 Weight를 기반으로 해당 배우의 이미지에 대한 해상도 복원을 수행할 수 있다.For example, the user device 300 may extract one or more objects from an image file and identify the extracted objects according to the method described above. For example, the user device 300 can identify and recognize a specific object such as a character, an actor, a building, and a small object appearing in the image file, and acquire the corresponding object image weight from the user device 300 or the second server 200 . For example, even though the weight for a particular movie is not stored, the weight for the actor in the movie may already be stored. In this case, the user device 300 may acquire a weight for the corresponding actor, and perform resolution restoration on the image of the actor based on the obtained weight.

또한, 객체는 특정되지 않는 일반적인 객체를 포함할 수 있다. 예를 들어, 보도블럭이나 전신주, 건물, 자동차 등의 객체는 특정되지 않으며, 소정의 기준에 따라 분류된 Weight가 미리 저장될 수 있다. 따라서, 사용자 기기 300는 영상에 차도, 건물, 자동차 등 일반적인 객체가 있는 것으로 식별되는 경우, 이에 대응하는 Weight를 획득한 후, 각각의 일반적인 객체에 대한 해상도 복원을 수행함으로써 영상의 전체적인 품질을 향상시킬 수 있다.In addition, an object may include a generic object that is not specified. For example, objects such as a sidewalk block, a telephone pole, a building, a car, etc. are not specified, and a weight classified according to a predetermined criterion can be stored in advance. Accordingly, when the user device 300 is identified as having a general object such as a roadmap, a building, or an automobile, the user device 300 acquires a corresponding weight and then performs resolution restoration for each general object to improve the overall quality of the image .

상기 콘텐츠 정보 수집부 234는 제 1서버 100로부터 제공받고, AI 영상학습을 수행한 이력이 있는 VOD 파일 위주의 콘텐츠 정보를 수집할 수 있다. 상기 콘텐츠 정보란 VOD 파일을 항목별로 분류하기 위해 요구되는 정보이며, 예컨대, 콘텐츠 종류(예, 영화, 드라마, M/V, 예능, 애니메이션 등), 명칭(예, 김과장(드라마 명칭), 데드풀(영화 명칭)), 시즌 및 회차, 줄거리, 등장인물 등의 정보가 이에 해당될 수 있다. The content information collecting unit 234 can collect content information provided from the first server 100 and based on the VOD file having the history of performing the AI image learning. The content information is information required to classify the VOD files according to items. For example, the content information is a content type (e.g., movie, drama, M / V, entertainment, animation, (Name of the movie), season and time, story, characters, and the like.

다양한 실시 예에 따라 상기 콘텐츠 정보 수집부 234는 추후 사용자가 주로 요청하는 콘텐츠의 속성을 판단할 수 있도록 하기 위해 사용자로부터 Weight가 빈번히 요청되는 콘텐츠(조회수가 많은 VOD에 대한 콘텐츠 정보)에 대한 콘텐츠 정보를 수집하도록 제어할 수 있다. 상기 콘텐츠 정보 수집부 234는 제 1 VOD 파일에 포함되는 명칭, 회차 등의 내부 콘텐츠 정보를 수집할 수 있다. 또한 상기 콘텐츠 정보 수집부 234는 상기 제 1 VOD 파일에 포함되는 내부 콘텐츠 정보를 기반으로 해당 콘텐츠의 줄거리, 등장인물 등의 외부 콘텐츠 정보를 추가로 수집할 수 있다. According to various embodiments, the content information collecting unit 234 may collect content information (content information for VOD with a large number of views) frequently requested by the user from the user so that the user can determine the property of the content to be requested later As shown in FIG. The content information collecting unit 234 can collect internal content information such as a name and a turn included in the first VOD file. Also, the content information collecting unit 234 may further collect external content information such as plot, characters, and the like based on the internal content information included in the first VOD file.

또한 상기 콘텐츠 정보 수집부 234는 다양한 실시 예에 따라 수집된 콘텐츠 정보에 기반하여 AI 영상 학습부 232의 동작을 제어할 수 있다. 예를 들어, '드라마/김과장/1회'로 분류되는 VOD가 20개(예, 총 1시간의 콘텐츠일 경우 5분짜리 분할된 영상 클립이 다수개 존재할 수 있음) 존재한다고 할 때, 20개의 VOD는 하나의 묶음으로 분류될 수 있다. 그리고 상기 AI 영상 학습부 232는 상기 20개의 콘텐츠 중 임의의 콘텐츠에 대하여 Weight 산출을 위한 AI 영상학습 동작 중, 상기 콘텐츠 정보에 기반하여 동일 분류된 콘텐츠들 중에서 유사한 썸네일 이미지를 보유하는 VOD를 추가 참조하여 영상 학습을 수행할 수 있다. The content information collecting unit 234 may control the operation of the AI image learning unit 232 based on the collected content information according to various embodiments. For example, if there are 20 VODs classified as 'Drama / Kimchi / 1 time' (eg, if there are a total of 1 hour of content, there may be a number of 5 minute divided video clips) VODs can be classified into one bundle. The AI image learning unit 232 further adds a VOD that holds similar thumbnail images among the same classified contents based on the content information among the AI image learning operations for calculating a weight for any of the 20 contents, Thereby performing image learning.

상기 사용자 시청 정보 수집부 235는 사용자 기기 300로부터 수신된 VOD 요청 신호에 기반하여 정보를 수집할 수 있다. 또한 상기 사용자 시청 정보 수집부 235는 제 1서버 100로부터 사용자의 시청 정보(예, 조회수 정보)를 수집할 수도 있다. 상기 사용자 시청 정보 수집부 235는 사용자 계정으로부터 사용자 정보(성별, 연령대. 국가 등)를 수집할 수 있다. 또한 상기 사용자 시청 정보 수집부 235는 사용자 계정별 접속 횟수 관련 정보(예, 1달 평균 접속 횟수), 시청 VOD의 ID 또는 분류 항목 정보(예, 사용자별 시청 VOD 리스트 형태로 기록될 수 있음) 등의 시청 정보를 수집할 수 있다. 다양한 실시 예에 따라 상기 사용자 시청 정보 수집부 235는 동일 VOD 콘텐츠의 평균 반복 재생횟수, 주 해상도 선택 정보 등을 추가로 수집할 수 있다. The user viewing information collection unit 235 may collect information based on the VOD request signal received from the user device 300. In addition, the user viewing information collecting unit 235 may collect viewing information (e.g., view number information) of the user from the first server 100. The user viewing information collecting unit 235 may collect user information (sex, age group, country, etc.) from the user account. The user viewing information collecting unit 235 may collect information related to the number of accesses per user account (for example, the average number of accesses per month), an ID of the viewing VOD, or classification item information (for example, may be recorded in the form of a viewing VOD list per user) Can be collected. According to various embodiments, the user viewing information collection unit 235 may further collect the average number of times of repeated playback of the same VOD content, main resolution selection information, and the like.

상기 사용자 시청 취향 정보 산출부 236은 상기 콘텐츠 정보 수집부 234 및 사용자 시청 정보 수집부 235에서 수집된 정보들을 기반으로 사용자의 VOD 취향과 관련된 정보를 산출할 수 있다. 상기 사용자 시청 취향 정보 산출부 236은 예컨대, 임의 VOD 시청 횟수 또는 제 1 서버 100(VOD 서비스 웹페이지 또는 어플리케이션)로의 접속 횟수가 기 설정된 기준치(예, 3회/1주일)이상인 사용자에 대하여 시청 취향 정보를 산출할 수 있다. 또는 상기 사용자 시청 취향 정보 산출부 236는 모든 사용자에 대하여 시청 이력이 있는 VOD 파일 및 해당 VOD 파일과 관련된 콘텐츠 정보를 기반으로 시청 취향 정보를 산출할 수 있다. 또는 상기 사용자 시청 취향 정보 산출부 236은 사용자 정보를 기반으로 특정 연령대별, 또는 성별 시청 취향 정보를 산출할 수 있다. The user viewing preference information calculation unit 236 may calculate information related to the user's VOD preference based on the information collected by the content information collection unit 234 and the user viewing information collection unit 235. [ The user viewing preference information calculation unit 236 calculates a viewing preference preference value for a user having a predetermined number of times (for example, three times / one week) or more of the number of VOD viewing times or the number of accesses to the first server 100 (VOD service web page or application) Information can be calculated. Alternatively, the user viewing preference information calculation unit 236 may calculate viewing preference information based on the VOD file having the viewing history and the content information related to the VOD file with respect to all users. Alternatively, the user viewing preference information calculation unit 236 may calculate viewing preference information for a specific age group or gender based on the user information.

또한 상기 사용자 시청 취향 정보 산출부 236는 사용자별 관심 VOD를 판단하기 위해, 사용자 시청 정보 수집부 235로부터 수집된 시청 정보를 활용할 수 있다. 상기 사용자 시청 취향 정보 산출부 236은 각 사용자별 시청 VOD 파일 리스트 등의 시청 정보를 기반으로 사용자가 선호하는 VOD 파일의 특징을 산출할 수 있다. 이 때 상기 사용자 시청 취향 정보 산출부 236는 사용자의 시청 VOD 파일 각각의 정보를 콘텐츠 정보에 따라 분류한 후, 기 설정된 횟수(또는 비율) 이상 시청된 항목의 정보를 사용자가 선호하는 콘텐츠 분류인 것으로 판단할 수 있다. 예컨대, 사용자 시청 취향 정보 산출부 236은 사용자의 시청 VOD 리스트 각각에 대하여 분류 항목에 대한 식별값을 부여할 수 있다. The user viewing preference information calculation unit 236 may utilize the audience information collected from the user viewing information collection unit 235 to determine a user's interest VOD. The user viewing preference information calculation unit 236 can calculate the characteristics of the VOD file preferred by the user based on the viewing information such as the viewing VOD file list for each user. At this time, the user viewing preference information calculation unit 236 classifies the information of each of the viewing VOD files of the user according to the content information, and then the information of the viewed items over the preset number (or rate) It can be judged. For example, the user viewing preference information calculation unit 236 may assign identification values for the classification items to each of the viewing VOD lists of the user.

이후 상기 사용자 시청 취향 정보 산출부 236은 특정 사용자의 시청 VOD리스트에 부여된 식별값 정보들을 기반으로 해당 사용자의 선호 VOD 항목 정보를 판단할 수 있다. 예컨대, 임의 사용자 A의 시청 VOD 리스트에 부여된 식별값 중 기 설정된 비율 이상이 드라마(종류), 추리물(장르)에 해당하는 것으로 판단될 경우, 상기 사용자 시청 취향 정보 산출부 236은 해당 사용자의 취향을 (1) 드라마, (2) 추리물 로 판단할 수 있다. 이후 사용자 시청 취향 정보 산출부 236은 해당 사용자에게 추리물 및 드라마로 분류되는 VOD를 추천하도록 제 1서버 측에 추천 정보를 제공할 수 있다. 이에 따라 상기 제 1서버는 해당 사용자 접속 시, 새로 업데이트된 VOD 파일 중 추리물인 드라마가 존재하는 경우 상기 해당 사용자에의 접속 페이지 화면에 해당 VOD를 추천하는 화면을 표시하거나, 사용자 기기 300측에 업데이트 정보를 푸쉬알림으로 전달할 수 있다. The user viewing preference information calculation unit 236 may then determine preference VOD item information of the user based on the identification value information provided in the viewing VOD list of the specific user. For example, when it is determined that a predetermined ratio or more of the identification values assigned to the viewing VOD list of the arbitrary user A corresponds to the drama (kind) and the reason (genre), the user viewing preference information calculation unit 236 calculates Can be judged as (1) drama and (2) reason. The user viewing preference information calculation unit 236 may provide recommendation information to the first server side to recommend the VOD classified as the reason and drama to the user. Accordingly, when the user accesses the first server, the first server displays a screen for recommending the corresponding VOD on the connection page screen for the corresponding user when there is a drama that is an object of the newly updated VOD file, Information can be delivered as push notifications.

또한, 상기 사용자 시청 취향 정보 산출부 236은 다수의 사용자가 선호하는 것으로 판단되는 VOD(예, 시리즈물)가 제 1서버 100에 업데이트되면, 해당 VOD를 우선하여 제 2서버로 획득한 후 AI 영상학습을 수행하도록 제어할 수 있다. 즉, 상기 제어부 230는 제 1서버 100로부터 획득되는 제 1 VOD의 AI 영상 학습의 우선순위를 판단할 시, 상기 사용자 시청 취향 정보 산출부 236에서 산출한 사용자 시청 취향 정보에 기반하여 결정할 수 있다. In addition, when the VOD (e.g., a series) determined to be preferred by a plurality of users is updated in the first server 100, the user viewing preference information calculation unit 236 acquires the VOD in the second server in preference to the VOD, Learning can be controlled. That is, the controller 230 may determine the priority of the AI video learning of the first VOD obtained from the first server 100 based on the user's viewing preference information calculated by the user viewing preference information calculator 236.

다양한 실시 예에 따라 상기 제어부 230는 제 1서버 100로부터 획득되는 제 1 VOD의 AI 영상 학습의 우선순위를 설정할 시, 충성도가 높은 사용자의 선호 영상에 우선순위를 더 부여할 수 있다. 상기 충성도는 VOD 제공 서버로의 접속 횟수 및 시청 횟수에 기반하여 판단될 수 있다. 예를 들어, 제 1서버 100 접속 횟수 및 제 1서버 100를 통한 VOD 시청 횟수가 기 설정된 수준 이상인 사용자가 선호하는 A 드라마와, 접속 횟수 및 시청 횟수가 기 설정된 수준 미만인 사용자가 선호하는 B 드라마 중 상기 제어부는 A드라마를 우선하여 AI 영상 학습을 수행하도록 순위를 지정할 수 있다. According to various embodiments, when setting the priority of the AI video learning of the first VOD obtained from the first server 100, the controller 230 may give preference to the preference images of the loyal users. The loyalty may be determined based on the number of connections to the VOD server and the number of viewing times. For example, if a user A having a preference for the number of times of connection of the first server 100 and a number of times of watching the VOD through the first server 100 is higher than a predetermined level, The controller may assign a priority to the AI drama in order to perform AI image learning.

또한, 본 발명의 다양한 실시 예에 따라 상기 제어부 230는 키워드 기반 VOD추천부(미도시)를 더 포함할 수 있다. 상기 키워드 기반 VOD 추천부는 학습된 VOD 파일을 대상으로 VOD의 줄거리와 사용자 리뷰를 인공지능으로 학습시키고, 웹 서버 등에서 추천되는 트렌드 키워드와 관련된 VOD파일을 추천하는 동작을 수행할 수 있다. 예를 들어, 상기 키워드 기반 VOD 추천부는 웹에서 자주 검색되는 드라마 명칭, 배우 이름에 기반하여 해당 명칭의 콘텐츠 또는 해당 배우가 출연한 콘텐츠를 해당 시점에서 이슈인 콘텐츠로 판단하고, 이를 사용자에게 추천할 수 있다. Also, according to various embodiments of the present invention, the controller 230 may further include a keyword-based VOD recommendation unit (not shown). The keyword-based VOD recommender may learn a story and a user review of the VOD on the learned VOD file by artificial intelligence, and recommend a VOD file related to a trend keyword recommended in a web server or the like. For example, the keyword-based VOD recommender may determine that the content of the corresponding name or the content appearing on the actor is a content that is an issue on the basis of the drama name, actor name, .

도 4는 본 발명의 실시 예에 따른 AI 영상 학습 동작의 순서를 도시한 순서도이다. 4 is a flowchart showing a sequence of an AI image learning operation according to an embodiment of the present invention.

본 발명의 실시 예에 따른 제 2서버 200는 제 1서버로부터 VOD 파일을 획득하는 405 동작을 수행할 수 있다. 이후 상기 제 2서버 200는 획득한 VOD 파일에 대한 AI 영상학습 수행 및 고화질 복원에 요구되는 Weight를 산출하는 410동작을 수행할 수 있다. 이 때 상기 제 2서버 200는 제어부 230를 통해 획득된 VOD 파일의 고화질 복원용 Weight를 산출하게 된다. The second server 200 according to the embodiment of the present invention may perform the operation 405 of acquiring the VOD file from the first server. Then, the second server 200 may perform an operation 410 for calculating the weight required for AI image learning and high-quality reconstruction of the acquired VOD file. At this time, the second server 200 calculates a high image quality restoration weight of the VOD file obtained through the controller 230.

이후 상기 제 2서버 200의 제어부 230는 산출된 Weight를 콘텐츠 ID 별로 분류하여 DB 220에 저장하는 415동작을 수행할 수 있다. Then, the controller 230 of the second server 200 may perform the operation 415 of classifying the calculated weight according to the content ID and storing the classified weight in the DB 220.

상기 순서에 따라 제 2서버 200에서는 제 1서버 100에서 보유한 VOD파일에 대응하는 해상도 복원용 Weight를 산출하고 별도의 DB 220에서 보유할 수 있게 된다. 상기 Weight 의 파라미터 크기가 클수록 고해상도 복원율은 높아질 것이나 VOD 서비스 가용성이 떨어질 것으로 예상할 수 있다. 이에 따라 산출되는 Weight의 크기는 일정한 용량(예, 10MB미만)을 유지하도록 지정될 수 있다.The second server 200 can calculate the resolution restoration weight corresponding to the VOD file held in the first server 100 and retain the resolution restoration weight in the separate DB 220 according to the above procedure. The larger the parameter size of the weight, the higher the resolution recovery rate will be, but the VOD service availability can be expected to decrease. The size of the weight thus calculated can be specified to maintain a constant capacity (e.g., less than 10 MB).

도 5는 본 발명의 실시 예에 따라 제 2서버에서 해상도 복원을 수행하기 위한 동작의 순서를 도시하는 순서도이다. 5 is a flowchart showing a sequence of operations for performing resolution restoration in a second server according to an embodiment of the present invention.

상기 제 2서버 200의 제어부 230는 특정 VOD 파일에 대한 전송 요청 신호를 수신할 수 있다. 이 때 상기 제 2서버 200에서 특정 VOD파일에 대한 전송 요청 신호는 사용자 기기 300로부터 직접 수신할 수 있다. 이 경우 사용자 기기 300는 VOD 서비스를 제공하는 제 1서버 100측에 접속할 시, 자동으로 제 2서버 200측에 대한 정보를 수신하고, 제 1서버 100측에 VOD를 요청할 시, 동일 신호를 제 2서버 200측에도 요청하도록 설정될 수 있다. The controller 230 of the second server 200 may receive a transmission request signal for a specific VOD file. At this time, the second server 200 can directly receive the transmission request signal for the specific VOD file from the user device 300. In this case, when the user device 300 accesses the first server 100 providing the VOD service, the user device 300 automatically receives the information on the second server 200 side, and when requesting the VOD on the first server 100 side, And can also be set to request the server 200 side.

또는, 상기 제 2서버 200는 제1서버로부터 VOD 서버에 접속한 사용자 기기 300정보를 제공받고, 사용자 기기로부터 제 1서버 100가 VOD 요청 신호를 수신하면, 해당 신호를 제 1서버 100가 제 2서버 200측에 전달할 수 있다. 이에 따라 제 2서버 200는 전송 요청된 VOD 파일에 대한 정보 및 사용자 기기 300의 정보를 수신할 수 있게 된다. Alternatively, when the first server 100 receives the VOD request signal from the user device, the second server 200 receives the information of the user device 300 connected to the VOD server from the first server, To the server 200 side. Accordingly, the second server 200 can receive information on the VOD file requested to be transmitted and the information of the user device 300.

이후 상기 제 2서버 200의 제어부 230는 요청된 VOD 파일에 대응하는 Weight를 탐색하는 510동작을 수행할 수 있다. Then, the controller 230 of the second server 200 may perform an operation 510 for searching for a weight corresponding to the requested VOD file.

상기 제어부 230는 DB 내 해당 VOD 파일에 대응하는 Weight가 존재하는지 여부를 판단하는 515동작을 수행할 수 있고, 대응 Weight 가 존재하는 경우 상기 제어부 230는 해당 Weight를 사용자 기기 300측에 전송하도록 통신부를 제어하는 520동작을 수행할 수 있다. 반면, 선택된 VOD에 대응하는 Weight가 존재하지 않는 것으로 판단되면, 상기 제어부 230는 해당 VOD 파일에 대한 AI 영상 학습 순서에 중요도 가중치를 부여하는 525동작을 수행한 후 본 동작을 종료할 수 있다. The control unit 230 can perform an operation 515 for determining whether a corresponding weight exists in the corresponding VOD file in the DB. If the corresponding weight exists, the controller 230 transmits a corresponding weight to the user device 300 Control 520 operation. On the other hand, if it is determined that the weight corresponding to the selected VOD does not exist, the controller 230 may perform the operation 525 of assigning importance weight to the AI image learning sequence for the corresponding VOD file, and then end this operation.

본 발명의 실시 예에 따른 제어부 230는 VOD 파일에 대한 AI 영상 학습의 우선순위를 결정할 수 있고, 설정된 순서 정보에 기반하여 VOD파일의 AI 영상 학습 동작을 수행할 수 있다. 예컨대, 상기 제어부 230가 수행하는 AI 영상 학습의 순서 결정은 점수 산정 방식에 따라 수행될 수 있으며, 새롭게 업데이트되는 VOD 영상들에 대하여 기존 조회수가 기 설정된 기준치 이상인 콘텐츠의 후속작(작품명이 동일하고, 회차 정보가 다른 VOD 파일을 동일 콘텐츠의 후속작으로 판단할 수 있음)의 경우, 이전 VOD 콘텐츠의 조회수 정보에 기반하여 점수를 부여할 수 있다. 그리고 상기 525동작에서 설명한 바와 같이, 사용자의 요청이력이 있는 경우, 상기 제어부 230는 AI 영상학습의 순서를 결정하기 위한 점수 산정시 가중치를 부여할 수 있다. The controller 230 according to the embodiment of the present invention can determine the priority of the AI image learning for the VOD file and can perform the AI image learning operation of the VOD file based on the set order information. For example, the order of AI image learning performed by the controller 230 may be performed according to a score calculation method. For the newly updated VOD images, the following number of pieces of content whose existing number of views is equal to or higher than a preset reference value The VOD file having the different information can be judged as a succeeding work of the same content), the score can be given based on the view number information of the previous VOD contents. As described in the operation 525, when there is a history of the user's request, the controller 230 may assign a weight in calculating the score for determining the order of the AI image learning.

이 밖에도 다양한 방식에 따라 상기 제어부 230는 사용자들의 관심도가 높은 VOD 콘텐츠를 판단할 수 있고 그에 따라 사용자들의 관심도가 높은 VOD 콘텐츠에 대하여 우선적으로 AI 영상 학습을 수행할 수 있다. In addition, the controller 230 can determine the VOD content having a high degree of interest by the users according to various methods, and can preferentially perform the AI video learning on the VOD contents with high interest of the users.

본 발명의 다양한 실시 예에 따라 제 2서버 200는 1차적으로 학습된 pretrained 모델을 재이용하여 추가 학습을 수행할 수 있다(예컨대, 특정 VOD 파일에 대한 전송 요청 신호 수신에 대응하여 추가 학습을 수행할 수 있음). 이에 따라 본 발명의 실시 예에 따른 AI 영상 학습 동작은 학습시간을 단축시킬 수 있다. According to various embodiments of the present invention, the second server 200 may re-use the learned pretrained model to perform additional learning (e.g., perform additional learning in response to receiving a transmission request signal for a specific VOD file Lt; / RTI > Accordingly, the AI image learning operation according to the embodiment of the present invention can shorten the learning time.

도면에 도시되지는 않았지만, 제 2서버 200에서의 상기 동작 이후 사용자 기기 300측에서는 수신된 제 1 VOD 파일(저해상도 영상)과 해당 VOD에 대응하는 Weight을 AI 고해상도 동영상 재생 프로그램 301상에서 구동하여 복원된 고해상도의 영상(제 2 VOD파일)을 생성하고 이를 재생시킬 수 있다. Although not shown in the figure, on the side of the user device 300 after the above operation in the second server 200, the received first VOD file (low-resolution image) and the weight corresponding to the VOD are driven on the AI high- (Second VOD file) and reproduce it.

상술한 예를 참조하여 본 발명을 상세하게 설명하였지만, 당업자라면 본 발명의 범위를 벗어나지 않으면서도 본 예들에 대한 개조, 변경 및 변형을 가할 수 있다. 요컨대 본 발명이 의도하는 효과를 달성하기 위해 도면에 도시된 모든 기능 블록을 별도로 포함하거나 도면에 도시된 모든 순서를 도시된 순서 그대로 따라야만 하는 것은 아니며, 그렇지 않더라도 얼마든지 청구항에 기재된 본 발명의 기술적 범위에 속할 수 있음에 주의한다.Although the present invention has been described in detail with reference to the above examples, those skilled in the art will be able to make adaptations, changes and modifications to these examples without departing from the scope of the present invention. In other words, in order to achieve the intended effect of the present invention, all the functional blocks shown in the drawings are separately included or all the steps shown in the drawings are not necessarily followed in the order shown, It can be in the range.

100 : 제 1서버
200 : 제 2서버
210 : 통신부
220 : DB
230 : 제어부
231 : 해상도 판단부
232 : AI 영상 학습부
233 : 객체 이미지 추출부
234 : 콘텐츠 정보 수집부
235 : 사용자 시청 정보 수집부
236 : 사용자 시청 취향 정보 산출부
300 : 사용자 기기
100: first server
200: second server
210:
220: DB
230:
231: resolution determination unit
232: AI image learning section
233: object image extracting unit
234: Content information collecting unit
235: User viewing information collecting section
236: User's viewing preference information calculating section
300: User device

Claims (4)

VOD 서비스를 제공하는 시스템에 있어서,
VOD 파일을 저장하고, 사용자 기기로부터의 요청에 따라 상기 VOD 파일의 전송 서비스를 제공하는 제 1서버;
상기 제 1서버로부터 VOD 파일을 제공받아, 개별 VOD 파일에 대한 AI 영상학습을 수행하고, 상기 AI 영상학습의 결과로 개별 VOD 파일에 대응하는 Weight를 산출하며, 사용자 기기로부터 발생된 VOD 전송 요청에 대응하여 요청된 VOD 파일에 대응하는 Weight를 사용자 기기에 전송하는 제 2서버;
상기 제 2서버에 의해 학습된 VOD파일의 아이디 및 상기 VOD파일의 AI 영상학습의 결과로 산출된 Weight를 저장하는 DB; 및
상기 제 1서버에 영상 파일 전송을 요청하고, 상기 제 1서버로부터 영상 파일을 수신하며, 제 2서버로부터 전송 요청한 영상 파일에 대응하는 Weight를 수신하여 상기 Weight를 적용한 영상 파일을 실행시키는 사용자 기기;를 포함하되,
상기 제 2서버는
VOD 파일별 콘텐츠의 종류, 명칭, 줄거리, 등장인물 중 적어도 하나를 포함하는 콘텐츠 정보를 수집하고,
사용자 시청 정보를 수집하여, 해당 사용자의 시청 비율이 기 설정된 기준치 이상이면 사용자의 시청 정보 및 상기 콘텐츠 정보에 기반하여, 상기 사용자의 시청 취향 정보를 산출하고, 상기 산출된 시청 취향 정보에 대응하는 VOD 콘텐츠 업데이트 시 해당 VOD를 해당 사용자에게 추천하고,
AI 영상학습 수행 시, 다수 사용자의 시청 취향 정보에 대응하는 신규 VOD 파일을 우선하여 AI 영상학습을 수행하도록 선정하며,
상기 산출된 시청 취향 정보를 기반으로 연령대별 및 성별 시청 취향 정보를 산출하며, 상기 산출된 시청 취향 정보에 기반하여 다수의 사용자가 선호하는 것으로 판단되는 VOD에 대하여 AI 영상 학습의 우선순위를 부여하되, 충성도가 높은 사용자의 선호영상일수록 AI 영상학습의 우선순위가 부여되도록 설정하고, 상기 충성도는 VOD를 실행하기 위한 접속 횟수 및 VOD 시청 횟수에 기반하여 판단하는 제어부;를 포함하고,
상기 제어부는
상기 제 1서버로부터 임의의 VOD 파일을 획득하여, Weight 추출 시, 전체 이미지의 사이즈가 기 설정된 수준 이상인 경우, 상기 VOD 파일의 이미지 중 일부 이미지만을 선택적으로 샘플링하되, 기 설정된 객체가 감지되는 영역에 대하여 샘플링을 수행하고, 샘플링된 이미지 영역을 기반으로 AI 영상 학습을 수행하며, 상기 객체가 포함된 이미지 영역으로부터 산출된 Weight를 객체 이미지용 Weight로 별도로 지정하여 저장하고,
사용자에 의해 객체 중심 해상도 복원이 선택된 경우, 상기 객체 이미지용 Weight를 사용자 기기에 제공하도록 제어하는 객체 이미지 추출부;를 포함하고,
상기 객체는 특정 인물의 얼굴 이미지를 포함하여 설정되는 것을 특징으로 하는 AI 영상학습 플랫폼 기반 VOD 서비스 시스템.
A system for providing a VOD service,
A first server for storing a VOD file and providing a transmission service of the VOD file in response to a request from a user device;
A VOD file is received from the first server, AI video learning is performed on an individual VOD file, a weight corresponding to an individual VOD file is calculated as a result of the AI image learning, and a VOD transmission request A second server for transmitting a corresponding weight to the user device in response to the requested VOD file;
A DB storing an ID of a VOD file learned by the second server and a weight calculated as a result of AI image learning of the VOD file; And
A user device for requesting transmission of an image file to the first server, receiving an image file from the first server, receiving a weight corresponding to the image file requested to be transmitted from the second server, and executing the image file to which the weight is applied; , ≪ / RTI &
The second server
Collects content information including at least one of a type, a name, a plot, and a character of content for each VOD file,
The user viewing information is calculated based on the viewing information of the user and the content information if the viewing ratio of the user is equal to or greater than a predetermined reference value, and the viewing preference information of the user is calculated based on the viewing information of the user, When the content is updated, the VOD is recommended to the user,
The AI video learning is performed in preference to the new VOD file corresponding to the viewing preference information of a plurality of users at the time of AI video learning,
Calculating the viewing preference information by age group and sex on the basis of the calculated viewing preference information and assigning a priority of AI image learning to VODs determined to be preferred by a plurality of users based on the calculated viewing preference information, And a control unit configured to set a priority of AI image learning so that a preference image of a user having a high loyalty is given, and the loyalty is determined based on a connection count and a VOD viewing count for executing a VOD,
The control unit
The method comprising: acquiring an arbitrary VOD file from the first server and selectively sampling only a part of the images of the VOD file when the size of the entire image is equal to or greater than a preset level during weight extraction; Performs AI image learning on the basis of the sampled image region, designates a weight calculated from an image region including the object separately as a weight for an object image,
And an object image extracting unit for controlling the weight of the object image to be provided to the user equipment when the object center resolution restoration is selected by the user,
Wherein the object is set to include a face image of a specific person.
◈청구항 2은(는) 설정등록료 납부시 포기되었습니다.◈◈ Claim 2 is abandoned due to payment of registration fee. 제 1항에 있어서,
상기 AI 영상학습은
SRCNN(Super Resolution Convolution Neural Networks) 기법에 따른 학습 동작인 것을 특징으로 하는 AI 영상학습 플랫폼 기반 VOD 서비스 시스템.
The method according to claim 1,
The AI image learning
And a learning operation according to a Super Resolution Convolution Neural Networks (SRCNN) technique.
삭제delete 삭제delete
KR1020180057904A 2018-05-21 2018-05-21 Vod service system based on ai video learning platform KR101933696B1 (en)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020180057904A KR101933696B1 (en) 2018-05-21 2018-05-21 Vod service system based on ai video learning platform
US16/076,164 US11368758B2 (en) 2018-05-21 2018-06-01 VOD service system based on AI video learning platform
CN201880000956.8A CN110754093A (en) 2018-05-21 2018-06-01 Video on demand service system based on artificial intelligence image learning platform
JP2018549564A JP2020524418A (en) 2018-05-21 2018-06-01 VOD service system based on AI video learning platform
PCT/KR2018/006330 WO2019225793A1 (en) 2018-05-21 2018-06-01 Ai video learning platform-based vod service system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180057904A KR101933696B1 (en) 2018-05-21 2018-05-21 Vod service system based on ai video learning platform

Related Child Applications (3)

Application Number Title Priority Date Filing Date
KR1020180141175A Division KR102130074B1 (en) 2018-11-15 2018-11-15 System for providing VOD in poor network environments
KR1020180141176A Division KR102130075B1 (en) 2018-11-15 2018-11-15 Image learning support system for resolution restoration using user's preference information
KR1020180141174A Division KR102130073B1 (en) 2018-11-15 2018-11-15 Image learning system that performs resolution restoration function based on object

Publications (1)

Publication Number Publication Date
KR101933696B1 true KR101933696B1 (en) 2018-12-28

Family

ID=65008815

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180057904A KR101933696B1 (en) 2018-05-21 2018-05-21 Vod service system based on ai video learning platform

Country Status (1)

Country Link
KR (1) KR101933696B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109996116A (en) * 2019-03-27 2019-07-09 深圳创维-Rgb电子有限公司 Promote method, terminal and the readable storage medium storing program for executing of video resolution
CN113436342A (en) * 2021-06-21 2021-09-24 浙江浙能电力股份有限公司萧山发电厂 System and method for monitoring operation of industrial equipment by operator based on identification positioning equipment

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101780057B1 (en) 2016-08-02 2017-09-19 한양대학교 에리카산학협력단 Apparatus and method for restroing high resolution image
KR101791573B1 (en) * 2016-10-21 2017-10-31 서강대학교산학협력단 Super resolution system and method with convolution neural network

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101780057B1 (en) 2016-08-02 2017-09-19 한양대학교 에리카산학협력단 Apparatus and method for restroing high resolution image
KR101791573B1 (en) * 2016-10-21 2017-10-31 서강대학교산학협력단 Super resolution system and method with convolution neural network

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109996116A (en) * 2019-03-27 2019-07-09 深圳创维-Rgb电子有限公司 Promote method, terminal and the readable storage medium storing program for executing of video resolution
CN113436342A (en) * 2021-06-21 2021-09-24 浙江浙能电力股份有限公司萧山发电厂 System and method for monitoring operation of industrial equipment by operator based on identification positioning equipment

Similar Documents

Publication Publication Date Title
CA2924065C (en) Content based video content segmentation
CN106060578B (en) Generate the method and system of video data
US11416546B2 (en) Content type detection in videos using multiple classifiers
US9230151B2 (en) Method, apparatus, and system for searching for image and image-related information using a fingerprint of a captured image
KR100867005B1 (en) Method for personal-ordered multimedia data retrieval service and apparatuses thereof
US20070028279A1 (en) System for personal video broadcasting and service method using internet
US20150256885A1 (en) Method for determining content for a personal channel
US10469918B1 (en) Expanded previously on segments
US20160035392A1 (en) Systems and methods for clipping video segments
CN103581705A (en) Method and system for recognizing video program
CN105992041A (en) Method and device for encoding a captured screenshot and controlling program content switching based on the captured screenshot
US9137586B2 (en) Content creation method and media cloud server
US11368758B2 (en) VOD service system based on AI video learning platform
WO2020078676A1 (en) Methods and apparatus for generating a video clip
KR101933696B1 (en) Vod service system based on ai video learning platform
KR101997909B1 (en) Program and recording medium for extracting ai image learning parameters for resolution restoration
KR102069897B1 (en) Method for generating user video and Apparatus therefor
KR102130075B1 (en) Image learning support system for resolution restoration using user's preference information
KR102130073B1 (en) Image learning system that performs resolution restoration function based on object
WO2015051611A1 (en) Method, device and system for content matching
KR101933698B1 (en) Device for extracting and providing weights through ai image learning
KR101933699B1 (en) Method of improving resolution based on ai image learning
CN111263183A (en) Singing state identification method and singing state identification device
US9106968B2 (en) Method and system for content recording and indexing
KR102130074B1 (en) System for providing VOD in poor network environments

Legal Events

Date Code Title Description
A107 Divisional application of patent
GRNT Written decision to grant