KR20210004377A - Grade encoder by using tiling - Google Patents

Grade encoder by using tiling Download PDF

Info

Publication number
KR20210004377A
KR20210004377A KR1020190080711A KR20190080711A KR20210004377A KR 20210004377 A KR20210004377 A KR 20210004377A KR 1020190080711 A KR1020190080711 A KR 1020190080711A KR 20190080711 A KR20190080711 A KR 20190080711A KR 20210004377 A KR20210004377 A KR 20210004377A
Authority
KR
South Korea
Prior art keywords
tiling
image
encoding
differential
engine
Prior art date
Application number
KR1020190080711A
Other languages
Korean (ko)
Inventor
김정식
변성무
Original Assignee
주식회사 쿼렌시스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 쿼렌시스 filed Critical 주식회사 쿼렌시스
Priority to KR1020190080711A priority Critical patent/KR20210004377A/en
Publication of KR20210004377A publication Critical patent/KR20210004377A/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Abstract

The present invention relates to a technique for differentially encoding and transmitting video content requested by a user according to the characteristics of an image frame when encoding and transmitting video content using tiling. A differential encoder comprises: an artificial intelligence (AI) engine (210) analyzing the image characteristics of a tile region obtained by dividing an image frame of video content into tiles and outputting analysis information according thereto; and a differential encoding unit (220) tiling and encoding the image frame downloaded from the AI engine (210), and differentially encoding the image frame according to the analysis information.

Description

타일링을 이용한 차등 인코더{GRADE ENCODER BY USING TILING}Differential encoder using tiling {GRADE ENCODER BY USING TILING}

본 발명은 사용자가 요청한 영상을 타일링을 이용하여 인코딩해서 전송하는 기술에 관한 것으로, 더욱 상세하게는 영상의 특성에 따라 차등적으로 인코딩하여 전송할 수 있도록 한 타일링을 이용한 차등 인코더에 관한 것이다.The present invention relates to a technology for encoding and transmitting an image requested by a user using tiling, and more particularly, to a differential encoder using tiling so that an image requested by a user can be differentially encoded and transmitted according to characteristics of an image.

일반적으로, 동영상 컨텐츠(또는 파일)의 전송기술에는 HTTP 적응 스트리밍(Hypertext Transfer Protocol Adaptive Streaming)과 HTTP 프로그레시브 다운로드(progressive download)가 있다. In general, there are HTTP adaptive streaming (Hypertext Transfer Protocol Adaptive Streaming) and HTTP progressive download (progressive download) as video content (or file) transmission technology.

HTTP 적응 스트리밍은 네트워크의 대역폭 환경을 스스로 인지하여 네트워크 상황에 맞게 동영상 컨텐츠를 자동으로 스트리밍하는 전송방식이다. HTTP 적응 스트리밍 전송방식에서는 사용자가 서버에 동영상 컨텐츠를 요청하면 서버는 해당 동영상 컨텐츠 전체를 한 번에 전송하는 것이 아니라 사용자가 요청한 만큼의 컨텐츠만 전송한다. 따라서, HTTP 적응 스트리밍 전송기술을 이용하여 동영상 컨텐츠를 전송하는 경우 요청된 동영상 컨텐츠를 끊김 없이 전송할 수 있다.HTTP adaptive streaming is a transmission method that automatically streams video contents according to network conditions by self-aware of the network's bandwidth environment. In the HTTP adaptive streaming transmission method, when a user requests a video content from a server, the server does not transmit the entire video content at once, but only transmits the content as requested by the user. Therefore, when video content is transmitted using HTTP adaptive streaming transmission technology, the requested video content can be transmitted without interruption.

HTTP 적응 스트리밍 전송방식을 이용하여 사용자가 요청한 동영상 컨텐츠를 전송하는 경우, 통신사업자 입장에서 볼 때 불필요하게 대역폭을 낭비는 일이 발생되지 않지만, 동영상 트랜스코딩, 패키징 및 별도의 저장 공간 확보를 위해 비용을 부담해야 하는 문제점이 있다. In the case of transmitting video content requested by the user using the HTTP adaptive streaming transmission method, bandwidth is not unnecessarily wasted from the point of view of the carrier, but costs for video transcoding, packaging and securing separate storage space There is a problem to bear.

HTTP 프로그레시브 다운로드는 유튜브(Youtube), CNN 등 대부분의 OTT(Over The Top) 사업자가 VoD(Video on Demand) 서비스 제공 시 활용하는 전송방식이다. HTTP 프로그레시브 다운로드 전송방식에서는 사용자가 서버에 동영상 컨텐츠를 요청하면 서버는 해당 동영상 컨텐츠 전체를 한 번에 전송한다. 따라서, 요청된 동영상 컨텐츠가 즉시 서버로부터 사용자 측으로 다운로드되지만 인터넷 속도가 느린 경우 동영상 디스플레이 동작이 끊길 수 있다. HTTP progressive download is a transmission method that most OTT (Over The Top) providers, such as YouTube and CNN, use when providing VoD (Video on Demand) service. In the HTTP progressive download transmission method, when a user requests video content from the server, the server transmits the entire video content at once. Accordingly, the requested video content is immediately downloaded from the server to the user, but when the internet speed is slow, the video display operation may be interrupted.

HTTP 프로그레시브 다운로드 전송방식을 이용하여 사용자가 요청한 동영상 컨텐츠를 전송하는 경우, 통신사업자 입장에서 볼 때 사용자가 시청하지 않는 동영상 컨텐츠까지 전송하는데 따른 대역폭 손실이 생기는 단점이 있다.In the case of transmitting video content requested by the user using the HTTP progressive download transmission method, there is a disadvantage in that bandwidth loss occurs due to transmission of video content that the user does not watch from the point of view of a communication service provider.

최근 들어, 인터넷 사용의 대중화에 힘입어 미디어 스트리밍, 개인방송, VR(Virture Reality) 컨텐츠 등의 멀티미디어 응용 서비스들의 사용이 빠른 속도로 증가되고 있다. In recent years, due to the popularization of Internet use, the use of multimedia application services such as media streaming, personal broadcasting, and VR (Virture Reality) contents is increasing at a rapid rate.

이러한 멀티미디어 응용 서비스들의 품질은 영상 장비 및 컨텐츠 제작 프로그램 등의 발달에 힘입어 향상되고 있으며, 이에 부응하여 인터넷(또는 브로드캐스트망)을 통해 사용자 단말기로 전송되는 동영상 컨텐츠의 용량 증대와 전송 속도 향상이 요구되고 있는 실정에 있다.The quality of these multimedia application services is improving thanks to the development of video equipment and content creation programs, and in response to this, the capacity and transmission speed of video content transmitted to user terminals through the Internet (or broadcast network) are increased. It is in demand.

본 발명이 해결하고자 하는 과제는 사용자가 요청한 영상 컨텐츠를 타일링을 이용하여 인코딩해서 전송할 때 영상 프레임의 특성에 따라 차등적으로 인코딩하여 전송할 수 있도록 하는데 있다.The problem to be solved by the present invention is to allow the user to differentially encode and transmit the video content requested by the user according to the characteristics of the video frame when the video content is encoded and transmitted using tiling.

상기 기술적 과제를 이루기 위한 본 발명의 실시예에 따른 타일링을 이용한 인코더는, 브로드캐스트망을 통해 사용자 단말기로부터 요청된 동영상 컨텐츠를 다운로드하는 브로드캐스트 서버; 및 상기 동영상 컨텐츠를 타일링 인코딩을 이용하여 인코딩하는 인코딩 엔진을 포함하되, 상기 인코딩 엔진은 상기 동영상 컨텐츠의 영상프레임을 타일 형태로 분할한 타일영역의 영상특성을 분석하여 그에 따른 분석정보를 출력하는 AI(Artificial Intelligence) 엔진; 및 상기 AI 엔진으로부터 다운로드되는 영상프레임을 타일링 인코딩하되, 상기 분석정보에 따라 차등적으로 인코딩하는 차등 인코딩부;를 포함하는 것을 특징으로 한다.An encoder using tiling according to an embodiment of the present invention for achieving the above technical problem includes: a broadcast server for downloading video content requested from a user terminal through a broadcast network; And And an encoding engine that encodes the video content using tiling encoding, wherein the encoding engine analyzes the video characteristics of a tile region obtained by dividing the video frame of the video content into a tile form and outputs analysis information according to the AI ( Artificial Intelligence) engine; And a differential encoding unit for tiling encoding the image frame downloaded from the AI engine, and differentially encoding the image frame according to the analysis information.

본 발명은 사용자가 요청한 영상 컨텐츠를 타일링을 이용하여 인코딩해서 전송할 때 영상 프레임의 특성에 따라 차등적으로 인코딩하여 전송할 수 있도록 함으로써, 서비스 사업자 입장에서 볼 때 스트리밍 서비스에 들어가는 트래픽, 스토리지 등의 유지비를 줄일 수 있고, 사용자 입장에서는 받아야하는 동영산 컨텐츠의 용량이 감소되므로 그만큼 전송되는 데이터량이 감소되는 효과가 있다.In the present invention, when the video content requested by the user is encoded and transmitted using tiling, it is possible to differentially encode and transmit the video content according to the characteristics of the video frame. It can be reduced, and since the capacity of Dongyeongsan content to be received from the user's point of view is reduced, the amount of transmitted data is reduced.

그리고, 사용자 입장에서 볼 때 기존보다 빠른 속도로 영상 컨텐츠를 전송받을 수 있게 되므로, 원할한 서비스를 받을 수 있고 통신비용을 줄일 수 있는 효과가 있다. And, from the user's point of view, since it is possible to receive video content at a faster rate than before, it is possible to receive smooth service and to reduce communication cost.

도 1은 본 발명에 의한 타일링을 이용한 차등 인코더가 적용되는 동영상 전송 시스템의 블록도.
도 2는 차등 인코더에 대한 상세 블록도.
도 3의 (a) 내지 (d)는 동영상 프레임의 예시도.
도 4의 (a) 내지 (c)는 본 발명에 따른 영상 프레임의 분할 및 차등 인코딩의 예시도.
도 5는 AI 엔진과 차등 인코딩부 간의 신호 흐름도.1 is a block diagram of a video transmission system to which a differential encoder using tiling according to the present invention is applied.
2 is a detailed block diagram of a differential encoder.
3A to 3D are exemplary views of a video frame.
4A to 4C are exemplary diagrams of segmentation and differential encoding of video frames according to the present invention.
5 is a signal flow diagram between the AI engine and the differential encoding unit.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하면 다음과 같다.Hereinafter, a preferred embodiment of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명에 의한 타일링을 이용한 차등 인코더가 적용되는 동영상 전송 시스템의 블록도이다.1 is a block diagram of a video transmission system to which a differential encoder using tiling according to the present invention is applied.

도 1을 참조하면, 발명에 의한 타일링을 이용한 차등 인코더가 적용되는 동영상 전송 시스템(100)은 브로드캐스트 서버(broadcast server)(110), 제1,2네트워크노드(121),(122), 브로드캐스트망(broadcast network)(130), 인코딩 엔진(140) 및 사용자 단말기(150)를 포함한다. Referring to FIG. 1, a video transmission system 100 to which a differential encoder using tiling according to the present invention is applied includes a broadcast server 110, first and second network nodes 121, 122, and broadcast. It includes a broadcast network (130), an encoding engine (140) and a user terminal (150).

브로드캐스트 서버(110)는 각종 동영상 컨텐츠(또는 파일)들을 저장하고 있다가 사용자 단말기(150)를 통해 요청된 동영상 컨텐츠를 다운로드하는 역할을 한다. 상기 브로드캐스트 서버(110)는 오리진 컨텐츠 서버(OCS: Origin Content Server)의 역할을 하는 서버로 볼 수 있다.The broadcast server 110 serves to store various video content (or files) and download the requested video content through the user terminal 150. The broadcast server 110 may be viewed as a server serving as an origin content server (OCS).

브로드캐스트망(130)은 사용자 단말기(150)가 브로드캐스트 서버(110)로부터 다운로드되는 동영상 컨텐츠를 공급받을 수 있도록 연결해 주는 역할을 한다. 상기 브로드캐스트망(130)은 인터넷망을 포함할 수 있다. The broadcast network 130 serves to connect the user terminal 150 so that the video content downloaded from the broadcast server 110 can be supplied. The broadcast network 130 may include an Internet network.

인코딩 엔진(140)은 제1네트워크노드(121)와 브로드캐스트망(130)을 통해 브로드캐스트 서버(110)로부터 다운로드되는 동영상 컨텐츠를 타일링 인코딩을 이용하여 인코딩함에 있어서 동영상 컨텐츠의 영상 프레임을 구성하는 타일영역의 영상특성(예: 타일영역 내에서의 영상의 움직임 정도)에 따라 타일영역들을 차등적으로 인코딩한다. 여기서, 상기 사용자 단말기(150)는 피씨(PC: Personal Computer), 태블릿피씨(tablet PC), 스마트폰 및 노트북(Laptop) 및 그 밖의 통신 가능한 단말기들을 포함할 수 있다.The encoding engine 140 configures the video frame of the video content when encoding video content downloaded from the broadcast server 110 through the first network node 121 and the broadcast network 130 using tiling encoding. Tile regions are differentially encoded according to the image characteristics of the tile region (eg, the degree of motion of the image within the tile region). Here, the user terminal 150 may include a personal computer (PC), a tablet PC, a smart phone, a laptop, and other communication terminals.

인코딩 엔진(140)은 차등 인코더(141), 캐시 메모리(142), MLS(MMT)(143) 및 와이파이 멀티캐스트(WiFi Multi Cast)(144)를 포함한다.The encoding engine 140 includes a differential encoder 141, a cache memory 142, an MLS (MMT) 143, and a WiFi Multi Cast 144.

차등 인코더(141)는 브로드캐스트 서버(110)로부터 다운로드되는 동영상 컨텐츠를 분석한 후 그 분석된 결과를 토대로 동영상을 타일링 인코딩함에 있어서 동영상 컨텐츠의 영상 프레임을 구성하는 타일영역들의 영상특성에 따라 타일영역들을 차등적으로 인코딩한다.The differential encoder 141 analyzes the video content downloaded from the broadcast server 110, and then, in tiling encoding the video based on the analyzed result, the tile region according to the image characteristics of the tile regions constituting the image frame of the video content. Are differentially encoded.

캐시 메모리(142)는 상기 차등 인코더(141)에 의해 타일링 인코딩된 동영상 컨텐츠를 일시 저장하는 역할을 한다.The cache memory 142 serves to temporarily store the tiled-encoded video content by the differential encoder 141.

와이파이 멀티캐스트(144)는 상기 캐시 메모리(142)로부터 출력되는 동영상 컨텐츠를 근거리무선통신으로 제2네트워크노드(122)에 송신하는 역할을 한다. 와이파이 멀티캐스트(144)는 근거리 무선망에서 멀티캐스트로 전송하는 방법으로 동영상 컨텐츠를 전송하여 무선망에서의 트래픽을 줄여주는 역할을 한다. 여기서, 멀티캐스트 송신은 UDP(User Datagram Protocol)에서만 가능하기 때문에 MLS 에서만 가능하며, HLS 에서는 불가능하다. 와이파이 멀티캐스트(144)는 멀티캐스트패킷을 송신할 수 있는 AP를 통해 동영상 컨텐츠를 송신하므로 실질적으로 MLS(143)와 제2네트워크노드(122)에 걸쳐 존재하게 된다.The WiFi multicast 144 serves to transmit the video content output from the cache memory 142 to the second network node 122 through short-range wireless communication. The Wi-Fi multicast 144 serves to reduce traffic in the wireless network by transmitting video content in a multicast transmission method in a local area wireless network. Here, since multicast transmission is only possible in User Datagram Protocol (UDP), it is only possible in MLS and not in HLS. Since the Wi-Fi multicast 144 transmits video content through an AP capable of transmitting a multicast packet, it substantially exists across the MLS 143 and the second network node 122.

도 2는 도 1의 차등 인코더에 대한 상세 블록도로서 이에 도시한 바와 같이 차등 인코더(141)는 AI(Artificial Intelligence) 엔진(210), 차등 인코딩부(220) 및 HLS (Http Live Streaming) 스트리밍 서버(230)를 포함한다.2 is a detailed block diagram of the differential encoder of FIG. 1, and as shown, the differential encoder 141 includes an AI (Artificial Intelligence) engine 210, a differential encoding unit 220, and an HLS (Http Live Streaming) streaming server. Includes 230.

AI 엔진(210)은 제1네트워크노드(121)와 브로드캐스트망(130)을 통해 브로드캐스트 서버(110)로부터 VOD(211)에 다운로된 동영상 컨텐츠의 영상프레임을 구성하는 타일영역의 영상특성을 분석하여 그에 따른 분석정보(AN)를 출력한다.The AI engine 210 is an image characteristic of a tile area constituting an image frame of the video content downloaded from the broadcast server 110 to the VOD 211 through the first network node 121 and the broadcast network 130 Analyzes and outputs analysis information (AN) accordingly.

상기 AI 엔진(210)의 VOD(211)에 다운로드되는 영상프레임들은 도 3의 (a),(d)와 같이 영상에 대한 모든 정보를 포함하는 키프레임과, 도 3의 (b),(c)와 같이 키프레임과 비교하여 변경된 정보만을 포함하고 있는 델타 프레임들로 이루어진다.The image frames downloaded to the VOD 211 of the AI engine 210 include a key frame including all information about the image as shown in FIGS. 3A and 3D, and FIGS. 3B and 3C. ), it is composed of delta frames containing only changed information compared to the key frame.

AI 엔진(210)은 VOD(211)에 다운로드되는 동영상 프레임들을 출력할 때, 델타 프레임들을 이전의 키프레임과 각기 비교하여 영상특성에 따라 몇 개 레벨(예: 고,중,저)로 구분한 분석정보(AN)를 함께 출력한다. 이때, AI 엔진(210)은 도 4에서와 같이 타일링된 화면들의 분석하여 그에 따른 분석정보를 추가적으로 출력할 수 있다. 여기서, 상기 고레벨은 델타 프레임 영상의 움직임 정도가 높은 것을 의미하고, 상기 중레벨은 델타 프레임 영상의 움직임 정도가 보통인 것을 의미하고, 상기 저레벨은 델타 프레임 영상의 움직임 정도가 낮은 것을 의미할 수 있다.When outputting the video frames downloaded to the VOD 211, the AI engine 210 compares the delta frames with the previous key frames and divides them into several levels (eg, high, medium, low) according to the image characteristics. The analysis information (AN) is also output. In this case, the AI engine 210 may analyze tiled screens as shown in FIG. 4 and additionally output analysis information according thereto. Here, the high level means that the degree of movement of the delta frame image is high, the middle level means that the degree of movement of the delta frame image is normal, and the low level means that the degree of movement of the delta frame image is low. .

차등 인코딩부(220)는 AI 엔진(210)으로부터 다운로드되는 영상프레임을 타일링 인코딩함에 있어서 상기 분석정보(AN)에 따라 차등적으로 인코딩한다. 즉, 차등 인코딩부(220)는 상기 분석정보(AN)에 따라 해당 키프레임들을 차등적으로 인코딩한다. The differential encoding unit 220 differentially encodes the image frame downloaded from the AI engine 210 according to the analysis information (AN) in tiling encoding. That is, the differential encoding unit 220 differentially encodes the corresponding key frames according to the analysis information (AN) .

도 4는 차등 인코딩부(220)에서 인코딩하는 영상프레임이 4×4 타일영역으로 분할된 것을 예로할 때 상기 분석정보(AN)에 따라 차등적으로 인코딩되는 것을 예시적으로 나타낸 것이다. 예를 들어, 상기 차등 인코딩부(220)는 상기 영상프레임을 상기 분석정보(AN)에 따라 차등적으로 인코딩함에 있어서, 상기 움직임 정도가 클수록 해당 타일영역의 인코딩 시간을 길게 설정하여 인코딩할 수 있다.FIG. 4 exemplarily shows that an image frame encoded by the differential encoding unit 220 is divided into 4×4 tile regions, and is differentially encoded according to the analysis information AN. For example, in the differential encoding of the video frame according to the analysis information (AN), the differential encoding unit 220 may encode the video frame by setting an encoding time of a corresponding tile region longer as the motion degree increases. .

즉, 도 4의 (a)는 인코딩부(220)가 영상프레임을 분석정보(AN)를 근거로 타일링 인코딩함에 있어서, 4×4 타일영역으로 분할된 타일영역들(1.1~4.4) 중 0~4초 동안 움직임 정도가 높은 타일영역(1.1,1.2,2.1,2.2)은 고화질로 인코딩하고 나머지의 움직임 정도가 낮은 타일영역들은 저화질로 인코딩하는 예를 나타낸 것이다.That is, in (a) of FIG. 4, when the encoding unit 220 tiling-encodes the image frame based on the analysis information (AN), 0 to 4 of the tile regions 1.1 to 4.4 divided into 4×4 tile regions The following shows an example of encoding tile areas with high motion level (1.1, 1.2, 2.1, 2.2) for 4 seconds in high quality and encoding tile areas with low motion level in low quality.

도 4의 (b)는 인코딩부(220)가 영상프레임을 분석정보(AN)를 근거로 타일링 인코딩함에 있어서, 4×4 타일영역으로 분할된 타일영역들(1.1~4.4) 중 5~7초 동안 움직임 정도가 높은 타일영역(1.2,1.3,2.2,2.3)은 고화질로 인코딩하고 나머지의 움직임 정도가 낮은 타일영역들은 저화질로 인코딩하는 예를 나타낸 것이다.4B shows 5 to 7 seconds of tile regions 1.1 to 4.4 divided into 4×4 tile regions when the encoding unit 220 tilings and encodes an image frame based on the analysis information AN. This is an example of encoding tile regions with a high degree of motion (1.2, 1.3, 2.2, and 2.3) in high definition and encoding the remaining tile regions with low motion in low quality.

도 4의 (c)는 인코딩부(220)가 영상 프레임을 분석정보(AN)를 근거로 타일링 인코딩함에 있어서, 4×4 타일영역으로 분할된 타일영역들(1.1~4.4) 중 8~16초 동안 움직임 정도가 높은 타일영역(2.2,2.3,2.4,3.2,3.3,3.4,4.4,4.3,4.4)은 고화질로 인코딩하고 나머지의 움직임 정도가 낮은 타일영역들은 저화질로 인코딩하는 예를 나타낸 것이다.4C shows 8 to 16 seconds among tile regions 1.1 to 4.4 divided into 4×4 tile regions when the encoding unit 220 tilings and encodes an image frame based on the analysis information AN. This is an example of encoding the tile areas with high degree of motion (2.2,2.3,2.4,3.2,3.3,3.4,4.4,4.3,4.4) in high quality and encoding the remaining tile areas with low motion in low quality.

상기 4×4 타일영역은 분할된 타일영역의 예를 나타낸 것으로, 이에 한정되는 것이 아니라 다양한 타일영역 예를 들어, m×n(m,n은 10 이하의 자연수)개의 타일영역으로 분할될 수 있다.The 4×4 tile area is an example of a divided tile area, and is not limited thereto, and may be divided into various tile areas, for example, m×n (m,n is a natural number of 10 or less) tile areas. .

HLS 스트리밍 서버(230)는 상기 차등 인코딩부(220)에 의해 상기와 같이 차등적으로 타일링 인코딩된 동영상 컨텐츠를 저장하는 역할을 한다.The HLS streaming server 230 serves to store video content that is differentially tiled and encoded as described above by the differential encoding unit 220.

한편, 도 5는 AI 엔진(210)과 차등 인코딩부(220) 간의 신호 흐름을 나타낸 것으로 이를 설명하면 다음과 같다.Meanwhile, FIG. 5 shows a signal flow between the AI engine 210 and the differential encoding unit 220 and will be described as follows.

차등인코딩부(220)는 AI 엔진(210)으로부터 동영상 컨텐츠의 영상프레임들을 다운로드받고, 다운로드받은 동영상 컨텐츠의 리스트를 AI 엔진에 업로딩한다(S1,S2).The differential encoding unit 220 downloads video frames of video content from the AI engine 210 and uploads a list of the downloaded video content to the AI engine (S1, S2).

이에 대하여, AI 엔진(210)은 동영상 컨텐츠의 델타 프레임들을 이전의 키프레임과 각기 비교하여 변화 정도에 따라 몇 개 레벨로 구분한 분석정보(AN)를 차등 인코딩부(220)에 전송한다(S3).In contrast, the AI engine 210 compares the delta frames of the video content with the previous key frames and transmits the analysis information (AN) divided into several levels according to the degree of change to the differential encoding unit 220 (S3). ).

AI 엔진(210)은 차등 인코딩부(220)에 정상적으로 차등 인코딩이 수행되었는지 확인하기 위한 확인요청 메시지를 전송하고, 이에 대하여 차등 인코딩부(220)는 답변 메시지를 AI 엔진(210)에 전송한다(S4,S5) The AI engine 210 transmits a confirmation request message for confirming whether the differential encoding is normally performed to the differential encoding unit 220, and the differential encoding unit 220 transmits a response message to the AI engine 210 ( S4,S5)

이상에서 본 발명의 바람직한 실시예에 대하여 상세히 설명하였지만, 본 발명의 권리범위가 이에 한정되는 것이 아니라 다음의 청구범위에서 정의하는 본 발명의 기본 개념을 바탕으로 보다 다양한 실시예로 구현될 수 있으며, 이러한 실시예들 또한 본 발명의 권리범위에 속하는 것이다. Although the preferred embodiments of the present invention have been described in detail above, the scope of the present invention is not limited thereto, but may be implemented in more various embodiments based on the basic concept of the present invention defined in the following claims, These embodiments also belong to the scope of the present invention.

100 : 동영상 전송 시스템 121 : 제1네트워크노드
122 : 제2네트워크노드 130 : 브로드캐스트망
140 : 인코딩 엔진 150 : 사용자 단말기
210 : AI 엔진 220 : 차등 인코딩부
230 : HLS 스트리밍 서버100: video transmission system 121: first network node
122: second network node 130: broadcast network
140: encoding engine 150: user terminal
210: AI engine 220: differential encoding unit
230: HLS streaming server

Claims (10)

브로드캐스트망을 통해 사용자 단말기로부터 요청된 동영상 컨텐츠를 다운로드하는 브로드캐스트 서버; 및
상기 동영상 컨텐츠를 타일링 인코딩을 이용하여 인코딩하는 인코딩 엔진을 포함하되,
상기 인코딩 엔진은
상기 동영상 컨텐츠의 영상프레임을 타일 형태로 분할한 타일영역의 영상특성을 분석하여 그에 따른 분석정보를 출력하는 AI(Artificial Intelligence) 엔진; 및
상기 AI 엔진으로부터 다운로드되는 영상프레임을 타일링 인코딩하되, 상기 분석정보에 따라 차등적으로 인코딩하는 차등 인코딩부;를 포함하는 것을 특징으로 하는 타일링을 이용한 차등 인코더.
A broadcast server downloading video content requested from a user terminal through a broadcast network; And
Including an encoding engine that encodes the video content using tiling encoding,
The encoding engine is
An AI (Artificial Intelligence) engine that analyzes image characteristics of a tile area obtained by dividing the image frame of the moving image content into a tile shape and outputs analysis information according to the image characteristics; And
And a differential encoding unit which tiling-encodes the image frame downloaded from the AI engine, and differentially encodes the video frame according to the analysis information.
 제1항에 있어서, 상기 사용자 단말기는
피씨(Personal Computer), 태블릿피씨(tablet PC), 스마트폰 및 노트북컴퓨터 중에서 어느 하나인 것을 특징으로 하는 타일링을 이용한 차등 인코더.
The method of claim 1, wherein the user terminal
Personal Computer, tablet PC, smartphone and notebook computer Differential encoder using tiling, characterized in that any one of.
 제1항에 있어서, 상기 영상특성은
상기 타일영역 내에서의 영상의 움직임 정도를 포함하는 것을 특징으로 하는 타일링을 이용한 차등 인코더.
The method of claim 1, wherein the image characteristic is
A differential encoder using tiling, comprising the degree of motion of the image within the tile area.
 제1항에 있어서, 상기 차등 인코딩부는
상기 영상프레임을 상기 분석정보에 따라 차등적으로 인코딩하되, 상기 움직임 정도가 클수록 해당 타일영역의 인코딩 시간을 길게 설정하여 인코딩하는 것을 특징으로 하는 타일링을 이용한 차등 인코더.
The method of claim 1, wherein the differential encoding unit
Differential encoder using tiling, characterized in that the video frames are differentially encoded according to the analysis information, and encoding by setting an encoding time of a corresponding tile region longer as the motion degree increases.
 제4항에 있어서, 상기 차등 인코딩부는
움직임 정도가 소정치 이상의 타일영역들은 일정치 이상의 화질로 인코딩하고 나머지의 타일영역들은 일정치 이하의 화질로 인코딩하는 하는 타일링을 이용한 차등 인코더.
The method of claim 4, wherein the differential encoding unit
A differential encoder using tiling that encodes tile regions having a motion degree higher than a predetermined value with an image quality higher than a predetermined value and the remaining tile regions with an image quality lower than a predetermined value.
 제1항에 있어서, 상기 영상프레임은
영상에 대한 모든 정보를 포함하는 키프레임과, 상기 키프레임과 비교하여 변경된 정보만을 포함하고 있는 델타 프레임으로 이루어진 것을 특징으로 하는 타일링을 이용한 차등 인코더.The method of claim 1, wherein the video frame
A differential encoder using tiling, comprising a key frame including all information about an image and a delta frame including only information changed by comparison with the key frame. 제1항에 있어서, 상기 영상프레임은
m×n(m,n은 10 이하의 자연수) 타일영역으로 분할된 것을 특징으로 하는 타일링을 이용한 차등 인코더.
The method of claim 1, wherein the video frame
A differential encoder using tiling, characterized in that it is divided into m×n (m,n is a natural number of 10 or less) tile regions.
 제1항에 있어서, 상기 분석정보는
상기 타일영역 내에서의 영상의 움직임 정도에 따라 분류된 레벨 정보를 포함하는 것을 특징으로 하는 타일링을 이용한 차등 인코더.
The method of claim 1, wherein the analysis information is
A differential encoder using tiling, comprising level information classified according to a degree of motion of an image within the tile area.
 제8항에 있어서, 상기 레벨 정보는
고,중 및 저의 레벨을 포함하는 것을 특징으로 하는 타일링을 이용한 차등 인코더.
The method of claim 8, wherein the level information
A differential encoder using tiling, characterized in that it includes high, medium and low levels.
 제1항에 있어서, 상기 AI 엔진은
상기 브로드캐스트 서버로부터 다운로드되는 상기 동영상 컨텐츠를 저장하는 VoD(Video on Demand)를 포함하는 것을 특징으로 하는 타일링을 이용한 차등 인코더.
The method of claim 1, wherein the AI engine
A differential encoder using tiling, comprising a Video on Demand (VoD) for storing the video content downloaded from the broadcast server.
KR1020190080711A 2019-07-04 2019-07-04 Grade encoder by using tiling KR20210004377A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190080711A KR20210004377A (en) 2019-07-04 2019-07-04 Grade encoder by using tiling

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190080711A KR20210004377A (en) 2019-07-04 2019-07-04 Grade encoder by using tiling

Publications (1)

Publication Number Publication Date
KR20210004377A true KR20210004377A (en) 2021-01-13

Family

ID=74142610

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190080711A KR20210004377A (en) 2019-07-04 2019-07-04 Grade encoder by using tiling

Country Status (1)

Country Link
KR (1) KR20210004377A (en)

Similar Documents

Publication Publication Date Title
KR100703399B1 (en) Transcoding apparatus and method for seamless video contents transmission
US9332051B2 (en) Media manifest file generation for adaptive streaming cost management
US10757453B2 (en) Distributed multi-datacenter video packaging system
US20180241969A1 (en) Dynamic advertisement stream replacement
KR100735274B1 (en) Apparatus and Method for Transcoding of Distributed Multimedia transmission Network with Transcoder
US11627184B2 (en) Methods and systems for dynamic data management
US11936469B2 (en) Server selected variable bitrate streaming
EP3022883B1 (en) Apparatus and method for cloud assisted adaptive streaming
US20150012661A1 (en) Media Processing in a Content Delivery Network
KR20150106961A (en) Using quality information for adaptive streaming of media content
KR20080075095A (en) A method and system for managing video networks
EP2773078B1 (en) Method, system and devices for multimedia content delivery using adaptive streaming
US20140189141A1 (en) Real-time content transcoding method, apparatus and system, and real-time content receiving method and apparatus
KR101718127B1 (en) Content packaging system and streaming method for context aware streaming service
CN112543357A (en) Streaming media data transmission method based on DASH protocol
US20150039721A1 (en) Method and apparatus for controlling traffic using adaptive streaming in multi-media content transmission system
KR20200081161A (en) Content streaming apparatus, system and methods
KR101548501B1 (en) Chunk based seamless stream transmitting and receiving apparatus and the method thereof
KR20210004377A (en) Grade encoder by using tiling
KR100502186B1 (en) HDTV internet broadcast service system
Pathan Cloud‐Based Content Delivery and Streaming
KR20140086801A (en) Realtime content transcoding method, apparatus and system, and realtime content reception method and apparatus
KR20200081162A (en) Content encoding apparatus and methods
KR101274500B1 (en) Method and system for streaming service
US11962825B1 (en) Content adjustment system for reduced latency

Legal Events

Date Code Title Description
E601 Decision to refuse application