KR20200111410A - Division video distributed decoding method and system for tiled streaming - Google Patents

Division video distributed decoding method and system for tiled streaming Download PDF

Info

Publication number
KR20200111410A
KR20200111410A KR1020190031046A KR20190031046A KR20200111410A KR 20200111410 A KR20200111410 A KR 20200111410A KR 1020190031046 A KR1020190031046 A KR 1020190031046A KR 20190031046 A KR20190031046 A KR 20190031046A KR 20200111410 A KR20200111410 A KR 20200111410A
Authority
KR
South Korea
Prior art keywords
image
resolution
video
bitstream
ultra
Prior art date
Application number
KR1020190031046A
Other languages
Korean (ko)
Other versions
KR102317938B1 (en
Inventor
장준환
박우출
양진욱
김용화
이준석
윤상필
최민수
김현욱
조은경
양재영
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Priority to PCT/KR2019/003179 priority Critical patent/WO2020189817A1/en
Priority to KR1020190031046A priority patent/KR102317938B1/en
Publication of KR20200111410A publication Critical patent/KR20200111410A/en
Application granted granted Critical
Publication of KR102317938B1 publication Critical patent/KR102317938B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

Provided are a method and a system for distributing and decoding a split image, capable of decoding, in real time, an 8K-level and a high efficiency video codec (HEVC) tiled split image and a 2K-level multiple image split based on a DASH protocol, for the purpose of tile-based streaming. According to an embodiment of the present invention, a method for distributing and decoding the split image includes: a step of generating a low-resolution image bitstream by encoding a video using one video encoder after downsampling the video, space-splitting the video in N1 x M1 times, and encoding the video using a plurality of video encoders to generate an ultra-high resolution image stream, and space-splitting the video in N2 x M2 tiles, and encoding the video by using the plurality of video encoders to generate a high-resolution image bitstream; a step of parsing the low-resolution image bitstream, the ultra-high image bitstream, and the high-resolution image bitstream through a parsing channel to generate the low-resolution image, the ultra-high-resolution image, and the high-resolution image in parallel; and a step of generating a first image in which a region of interest (ROI) of a user includes the ultra-high-resolution image or the high-resolution image, and a surrounding region of the ROI includes the low-resolution image. Accordingly, when the tile-based streaming service is provided, an ultra-high image is provided. In addition, a delay may be minimized in FOV view switching of the user. In addition, it is possible to provide flexible services by streaming commercial advertisements or recommended videos related to the video together.

Description

타일 기반 스트리밍을 위한 분할영상 분산 디코딩 방법 및 시스템{Division video distributed decoding method and system for tiled streaming}Division video distributed decoding method and system for tiled streaming}

본 발명은 분할영상 분산 디코딩 방법 및 시스템에 관한 것으로, 더욱 상세하게는 타일 기반 스트리밍을 위하여, DASH 프로토콜로 분할된 8K급 HEVC(High-Efficiency Video Coding) tiled 분할 영상과 2K급 다중 영상을 실시간으로 디코딩하는 분할영상 분산 디코딩 방법 및 시스템에 관한 것이다.The present invention relates to a split image distributed decoding method and system, and more particularly, for tile-based streaming, an 8K-class high-efficiency video coding (HEVC) tiled split video and a 2K-class multi-video divided by the DASH protocol in real time. The present invention relates to a method and system for distributed decoding of a split image for decoding.

8K(7680x4320)/16K(15360x8640)급 360VR 및 파노라마 영상과 같은 초대용량 비디오를 스트리밍 서비스하기 위해서는, 1) 네트웍 대역폭 부족, 2) 다수 클라이언트를 위한 스트리밍 서버의 초대용량 데이터 처리 능력 부족, 3) 소비가전 디바이스의 재생 능력 부족, 이라는 세 가지 문제를 해결하는 기술이 필요하다.In order to stream ultra-large video such as 8K(7680x4320)/16K(15360x8640) class 360VR and panoramic video, 1) lack of network bandwidth, 2) lack of extra-large data processing capability of streaming server for multiple clients, 3) consumption There is a need for technology to solve the three problems of the lack of reproducibility of consumer electronics devices.

이러한 세 가지 문제를 해결하기 위해, 초대용량 영상 데이터를 한번에 스트리밍하기보다는 영상을 미리 분할 영상(타일)로 분할하여 사용자가 현재 보고 있는 영역만을 적응적으로 스트리밍하는 방법인 타일 기반 스트리밍 서비스 기술이 개발되었으나, 사용자의 FOV(Field of View) 뷰 스위칭시 새로운 타일을 스트리밍 받아야하므로 약간의 지연(latency)이 발생하는 단점을 가지게 된다.To solve these three problems, a tile-based streaming service technology, which is a method of adaptively streaming only the area currently viewed by the user, has been developed by dividing the image into divided images (tiles) in advance rather than streaming the super-capacity image data at once. However, when the user switches the field of view (FOV) view, a new tile must be streamed, so there is a disadvantage that a little latency occurs.

이에, 타일 기반 스트리밍 서비스 기술을 적용하되, 사용자의 FOV 뷰 스위칭시 지연이 최소화되도록 하는 방안의 모색이 요구된다. Accordingly, there is a need for a method of applying a tile-based streaming service technology, but minimizing the delay when switching the user's FOV view.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, DASH 프로토콜로 분할된 8K급 HEVC tiled 분할 영상과 2K급 다중 영상을 실시간으로 디코딩함으로써, 타일 기반 스트리밍 서비스 제공시, 초고화질 영상을 제공하며, 사용자의 FOV 뷰 스위칭시 지연이 최소화 되도록 하는 분할영상 분산 디코딩 방법 및 시스템을 제공함에 있다.The present invention was conceived to solve the above problems, and an object of the present invention is to decode in real time an 8K-class HEVC tiled divided image and a 2K-class multi-video divided by the DASH protocol, when providing a tile-based streaming service, To provide an ultra-high-definition image and to provide a split image distributed decoding method and system that minimizes delay when switching the user's FOV view.

또한, 본 발명의 다른 목적은, 타일 기반 스트리밍 서비스 제공시, 상업적인 목적을 갖는 광고 또는 해당 영상과 관련된 추천영상이 함께 스트리밍되는 분할영상 분산 디코딩 방법 및 시스템을 제공함에 있다. In addition, another object of the present invention is to provide a method and system for distributed decoding of split images in which advertisements for commercial purposes or recommended images related to the corresponding images are streamed together when providing a tile-based streaming service.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 분할영상 분산 디코딩 방법은 비디오를 다운샘플링한 후 하나의 비디오 인코더로 인코딩하여 저해상도의 이미지 비트스트림을 생성하고, 비디오를 N1xM1개의 타일로 공간 분할한 후, 복수의 비디오 인코더로 인코딩하여 초고해상도의 이미지 비트스트림을 생성하며, 비디오를 N2xM2개의 타일로 공간 분할한 후, 복수의 비디오 인코더로 인코딩하여 고해상도의 이미지 비트스트림을 생성하는 단계; 저해상도의 이미지 비트스트림, 초고해상도의 이미지 비트스트림 및 고해상도의 이미지 비트스트림을 각각의 파싱 채널을 통해 파싱하여, 저해상도 이미지, 초고해상도 이미지 및 고해상도 이미지를 병렬적으로 생성하는 단계; 및 사용자의 관심영역이 초고해상도 또는 고해상도 이미지로 구성되고, 관심영역의 주변영역이 저해상도 이미지로 구성되는 제1 이미지를 생성하는 단계;를 포함한다. The split image distributed decoding method according to an embodiment of the present invention for achieving the above object downsamples the video and then encodes it with one video encoder to generate a low-resolution image bitstream, and spatially converts the video into N1xM1 tiles. After segmentation, encoding with a plurality of video encoders to generate an image bitstream of ultra-high resolution, spatially segmenting the video into N2xM2 tiles, and encoding the video with a plurality of video encoders to generate a high-resolution image bitstream; Parsing a low-resolution image bitstream, an ultra-high-resolution image bitstream, and a high-resolution image bitstream through respective parsing channels to generate a low-resolution image, an ultra-high-resolution image, and a high-resolution image in parallel; And generating a first image in which the user's region of interest is composed of an ultra-high resolution or high-resolution image, and a peripheral region of the region of interest is composed of a low-resolution image.

그리고 본 발명의 일 실시예에 따른, 분할영상 분산 디코딩 방법은 초고해상도 또는 고해상도 이미지 비트스트림이 생성된 이후, 하나 이상의 서브 미디어를 인코딩하여 서브 이미지 비트스트림을 생성하는 단계; 서브 이미지 비트스트림을 파싱하여, 서브 미디어가 재구성된 서브 이미지를 생성하는 단계; 및 제1 이미지에 서브 이미지를 부가하여 제2 이미지를 생성하는 단계;를 더 포함할 수 있다. In addition, a split image distributed decoding method according to an embodiment of the present invention includes generating a sub image bit stream by encoding one or more sub media after generating an ultra high resolution or high resolution image bit stream; Parsing the sub-image bitstream to generate a sub-image reconstructed from the sub-media; And generating a second image by adding a sub image to the first image.

또한, 서브 이미지는, 서브 미디어와 동일한 해상도의 이미지로 재구성되되, 서브 미디어 및 서브 이미지지는, 제1 이미지의 해상도가 1024X1024인 경우, 해상도가 1920X1080일 수 있다.Further, the sub-image may be reconstructed as an image having the same resolution as the sub-media, but the sub-media and the sub-image may have a resolution of 1920X1080 when the resolution of the first image is 1024X1024.

그리고 서브 이미지는, 상업적인 목적을 갖는 광고정보 또는 해당 영상과 관련된 추천영상에 대한 정보가 포함되며, 제1 이미지의 주변영역에 배치되도록 부가될 수 있다.In addition, the sub-image includes advertisement information having a commercial purpose or information on a recommended image related to the corresponding image, and may be added to be disposed in a peripheral area of the first image.

또한, 본 발명의 일 실시예에 따른, 분할영상 분산 디코딩 방법은 저해상도의 이미지 비트스트림, 초고해상도의 이미지 비트스트림 및 고해상도의 이미지 비트스트림을 파일로 저장하는 단계;를 더 포함하고, 이때, 파일로 저장하는 단계는, 초고해상도의 이미지 비트스트림의 파일정보에, HQ_tiles 태그가 부가되고, 고해상도의 이미지 비트스트림의 파일정보에, MQ_tiles 태그가 부가될 수 있다. In addition, the split image distributed decoding method according to an embodiment of the present invention further includes storing an image bitstream of a low resolution, an image bitstream of an ultra high resolution, and an image bitstream of high resolution as a file, wherein the file In the step of storing as, the HQ_tiles tag may be added to the file information of the image bitstream of the ultra high resolution, and the MQ_tiles tag may be added to the file information of the image bitstream of the high resolution.

그리고 비디오는, 타일 기반 MPEG 영상이며, 초고해상도 이미지는, 제1 이미지의 해상도가 1024X1024인 경우, 각 타일당 해상도가 512X512이고, 고해상도 이미지는, 제1 이미지의 해상도가 1024X1024인 경우, 각 타일당 해상도가 256X256일 수 있다.In addition, the video is a tile-based MPEG video, and in the case of the ultra-high resolution image, when the resolution of the first image is 1024X1024, the resolution per tile is 512X512, and in the high-resolution image, when the resolution of the first image is 1024X1024, each tile The resolution can be 256X256.

또한, 제1 이미지를 생성하는 단계는, 사용자의 시점(View)에 따라 사용자의 관심영역을 설정하고, 설정된 관심영역 이외에 영역을 주변영역으로 설정할 수 있다.In addition, in the step of generating the first image, the user's region of interest may be set according to the user's viewpoint, and an area other than the set region of interest may be set as a peripheral region.

그리고 제1 이미지를 생성하는 단계는, 사용자의 관심영역이 설정되면, 설정된 관심영역으로부터 기설정된 범위 이내의 영역을 제1 주변영역으로 설정하고, 관심영역 및 제1 주변영역 이외에 영역을 제2 주변영역으로 설정하여, 관심영역이 초고해상도 이미지로 구성되면, 제1 주변영역이 고해상도 이미지로 구성되고, 제2 주변영역이 저해상도 이미지로 구성될 수 있다.In the step of generating the first image, when the user's region of interest is set, an area within a preset range from the set region of interest is set as the first peripheral region, and the region other than the region of interest and the first peripheral region is set to the second peripheral region. When the region of interest is set as a region and the region of interest is composed of an ultra-high-resolution image, the first peripheral region may be composed of a high-resolution image, and the second peripheral region may be composed of a low-resolution image.

또한, 본 발명의 일 실시예에 따른, 분할영상 분산 디코딩 방법은 저해상도의 이미지 비트스트림, 초고해상도의 이미지 비트스트림 및 고해상도의 이미지 비트스트림 중 적어도 하나가 생성되면, 비디오에 대한 오디오를 분산 처리하지 않고 트랜스코딩하는 단계;를 더 포함할 수 있다. In addition, in the split image distributed decoding method according to an embodiment of the present invention, when at least one of a low-resolution image bitstream, an ultra-high-resolution image bitstream, and a high-resolution image bitstream is generated, the audio for the video is not distributed. Transcoding without; may further include.

한편, 본 발명의 다른 실시예에 따른, 분할영상 분산 디코딩 시스템은, 비디오를 다운샘플링한 후 하나의 비디오 인코더로 인코딩하여 저해상도의 이미지 비트스트림을 생성하고, 비디오를 N1xM1개의 타일로 공간 분할한 후, 복수의 비디오 인코더로 인코딩하여 초고해상도의 이미지 비트스트림을 생성하며, 비디오를 N2xM2개의 타일로 공간 분할한 후, 복수의 비디오 인코더로 인코딩하여 고해상도의 이미지 비트스트림을 생성하는 트랜스코딩부; 및 저해상도의 이미지 비트스트림, 초고해상도의 이미지 비트스트림 및 고해상도의 이미지 비트스트림을 각각의 파싱 채널을 통해 파싱하여, 저해상도 이미지, 초고해상도 이미지 및 고해상도 이미지를 병렬적으로 생성하고, 사용자의 관심영역이 초고해상도 또는 고해상도 이미지로 구성되고, 관심영역의 주변영역이 저해상도 이미지로 구성되는 이미지를 생성하는 디코딩부;를 포함한다. Meanwhile, in the split image distributed decoding system according to another embodiment of the present invention, after downsampling the video, encoding it with one video encoder to generate a low-resolution image bitstream, and spatially dividing the video into N1xM1 tiles. And a transcoding unit encoding a plurality of video encoders to generate an image bitstream of ultra-high resolution, spatially dividing the video into N2xM2 tiles, and encoding the video with a plurality of video encoders to generate a high-resolution image bitstream; And a low-resolution image bitstream, an ultra-high-resolution image bitstream, and a high-resolution image bitstream are parsed through respective parsing channels to generate a low-resolution image, an ultra-high-resolution image, and a high-resolution image in parallel, and the user's region of interest is It includes; a decoding unit that is composed of an ultra-high resolution or high-resolution image, and generates an image in which a peripheral region of the ROI is composed of a low-resolution image.

한편, 본 발명의 다른 실시예에 따른, 분할영상 분산 디코딩 방법은, 분할영상 분산 디코딩 방법은 입력 동영상을 분석하여 비트스트림 레벨에서 시간 분할하는 단계; 시간 분할된 비디오를 다운샘플링한 후 하나의 비디오 인코더로 인코딩하여 저해상도의 이미지 비트스트림을 생성하고, 시간 분할된 비디오를 복수의 타일로 공간 분할한 후, 복수의 비디오 인코더로 인코딩하여 초고해상도 또는 고해상도의 이미지 비트스트림을 생성하고, 하나 이상의 서브 미디어를 인코딩하여 서브 이미지 비트스트림을 생성하는 단계; 저해상도의 이미지 비트스트림 및 초고해상도 또는 고해상도의 이미지 비트스트림을 각각의 파싱 채널을 통해 파싱하여, 저해상도 이미지 및 초고해상도 이미지 또는 고해상도 이미지, 그리고 서브 이미지 비트스트림을 파싱하여, 서브 미디어가 재구성된 서브 이미지를 병렬적으로 생성하는 생성하는 단계; 및 사용자의 관심영역이 초고해상도 또는 고해상도 이미지로 구성되고, 관심영역의 주변영역이 저해상도 이미지로 구성되되, 주변영역에 서브 이미지가 부가된 이미지를 생성하는 단계;를 포함한다. On the other hand, according to another embodiment of the present invention, a split image distributed decoding method includes the steps of analyzing an input video and temporal dividing at a bitstream level; After downsampling the time-divided video, it is encoded with one video encoder to generate a low-resolution image bitstream, and the time-divided video is spatially divided into a plurality of tiles, and then encoded with a plurality of video encoders to achieve ultra-high resolution or high resolution. Generating an image bitstream of and encoding one or more sub media to generate a sub image bitstream; Sub-images reconstructed by parsing low-resolution image bitstreams and ultra-high-resolution or high-resolution image bitstreams through respective parsing channels, parsing low-resolution images, ultra-high-resolution images or high-resolution images, and sub-image bitstreams Generating generating in parallel; And generating an image in which the user's region of interest is composed of an ultra-high resolution or high-resolution image, and the peripheral region of the region of interest is composed of a low-resolution image, and a sub-image is added to the peripheral region.

한편, 본 발명의 다른 실시예에 따른, 분할영상 분산 디코딩 시스템은, 입력 동영상을 분석하여 비트스트림 레벨에서 시간 분할하고, 시간 분할된 비디오를 다운샘플링한 후 하나의 비디오 인코더로 인코딩하여 저해상도의 이미지 비트스트림을 생성하고, 시간 분할된 비디오를 복수의 타일로 공간 분할한 후, 복수의 비디오 인코더로 인코딩하여 초고해상도 또는 고해상도의 이미지 비트스트림을 생성하고, 하나 이상의 서브 미디어를 인코딩하여 서브 이미지 비트스트림을 생성하는 트랜스코딩부; 및 저해상도의 이미지 비트스트림 및 초고해상도 또는 고해상도의 이미지 비트스트림을 각각의 파싱 채널을 통해 파싱하여, 저해상도 이미지 및 초고해상도 이미지 또는 고해상도 이미지, 그리고 서브 이미지 비트스트림을 파싱하여, 서브 미디어가 재구성된 서브 이미지를 병렬적으로 생성하는 생성하고, 사용자의 관심영역이 초고해상도 또는 고해상도 이미지로 구성되고, 관심영역의 주변영역이 저해상도 이미지로 구성되되, 주변영역에 서브 이미지가 부가된 이미지를 생성하는 디코딩부;를 포함한다.On the other hand, the split image distributed decoding system according to another embodiment of the present invention analyzes an input video, time-divisions at a bitstream level, downsamples the time-divided video, and encodes the video with one video encoder to provide a low-resolution image. A bitstream is generated, the time-divided video is spatially divided into a plurality of tiles, and then encoded with a plurality of video encoders to generate an image bitstream of ultra high resolution or high resolution, and a sub image bitstream by encoding one or more sub media A transcoding unit that generates And a low-resolution image bitstream and an ultra-high-resolution or high-resolution image bitstream through respective parsing channels to parse a low-resolution image, an ultra-high-resolution image, or a high-resolution image, and a sub-image bitstream, thereby reconstructing the sub media. A decoding unit that generates and generates images in parallel, the user's region of interest is composed of a super-high resolution or high-resolution image, and the peripheral region of the region of interest is composed of a low-resolution image, and a sub-image is added to the peripheral region. Includes;

이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 타일 기반 스트리밍 서비스 제공시, 초고화질 영상을 제공하며, 사용자의 FOV 뷰 스위칭시 지연이 최소화 되도록 할 수 있다. As described above, according to embodiments of the present invention, when providing a tile-based streaming service, an ultra-high-definition image is provided, and a delay may be minimized when a user switches the FOV view.

또한, 본 발명의 실시예들에 따르면, 상업적인 목적을 갖는 광고 또는 해당 영상과 관련된 추천영상을 함께 스트리밍하여, 유연한 서비스 제공이 가능할 수 있다. In addition, according to embodiments of the present invention, it is possible to provide a flexible service by streaming an advertisement for a commercial purpose or a recommended video related to the video together.

도 1은 본 발명의 일 실시예에 따른 타일 기반 스트리밍 서비스의 개념도,
도 2는 타일 기반 스트리밍 서비스를 통해 제공되는 화면이 예시된 도면,
도 3은 타일 기반 스트리밍을 위한 분할영상 분산 디코딩 시스템의 설명에 제공된 도면,
도 4는 타일 기반 스트리밍을 위한 디먹싱 모듈의 설명에 제공된 도면,
도 5는 타일 기반 스트리밍을 위한 디코딩 모듈의 설명에 제공된 도면, 그리고
도 6은 디코딩 모듈을 더욱 상세히 설명하기 위해 제동된 도면이다. 1 is a conceptual diagram of a tile-based streaming service according to an embodiment of the present invention;
2 is a diagram illustrating a screen provided through a tile-based streaming service;
3 is a diagram provided to explain a split image distributed decoding system for tile-based streaming;
4 is a diagram provided to explain a demuxing module for tile-based streaming;
5 is a diagram provided in the description of a decoding module for tile-based streaming, and
6 is a braked diagram to describe the decoding module in more detail.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.Hereinafter, the present invention will be described in more detail with reference to the drawings.

도 1은 본 발명의 일 실시예에 따른 타일 기반 스트리밍 서비스의 개념도이고, 도 2는 타일 기반 스트리밍 서비스를 통해 제공되는 화면이 예시된 도면이다. 1 is a conceptual diagram of a tile-based streaming service according to an embodiment of the present invention, and FIG. 2 is a diagram illustrating a screen provided through a tile-based streaming service.

본 발명의 일 실시예에 따른 타일 기반 스트리밍을 위한 분할영상 분산 디코딩 시스템(이하에서는 '분할영상 분산 디코딩 시스템'으로 총칭하기로 함)은, 타일 기반 스트리밍 서비스 제공시, 초고화질 영상을 제공하며, 사용자의 FOV 뷰 스위칭시 지연이 최소화 되도록 하기 위해, 멀티 인코딩, 멀티 디코딩 구조로 구현될 수 있다. A split image distributed decoding system for tile-based streaming according to an embodiment of the present invention (hereinafter, collectively referred to as a'split image distributed decoding system') provides an ultra-high definition image when providing a tile-based streaming service, In order to minimize the delay when switching the user's FOV view, it may be implemented in a multi-encoding and multi-decoding structure.

즉, 입력 동영상을 분석하여 비트스트림 레벨에서 시간 분할하고, 시간 분할된 비디오를 다운샘플링한 후, 서로 다른 해상도의 이미지 비트스트림으로 멀티 인코딩하고, 서로 다른 해상도의 이미지 비트스트림을 기반으로 서로 다른 해상도의 이미지를 생성하는 멀티 디코딩 과정을 수행할 수 있다. In other words, after analyzing the input video and time-segmenting it at the bitstream level, downsampling the time-divided video, multi-encode it into image bitstreams of different resolutions, and perform different resolutions based on image bitstreams of different resolutions. It is possible to perform a multi-decoding process that generates an image of.

이를 위해, 분할영상 분산 디코딩 시스템은, 트랜스코딩부(100), 서버(200) 및 디코딩부(300)를 포함할 수 있다. To this end, the split image distribution decoding system may include a transcoding unit 100, a server 200, and a decoding unit 300.

트랜스코딩부(100)는 입력 동영상을 분석하여 비트스트림 레벨에서 시간 분할하고, 시간 분할된 비디오를 다운샘플링한 후, 서로 다른 해상도의 이미지 비트스트림으로 멀티 인코딩하여 서버(200)에 전송할 수 있다.The transcoding unit 100 may analyze the input video, time-division at a bitstream level, downsample the time-divided video, and multi-encode the image bitstreams of different resolutions and transmit the multi-encoded image to the server 200.

구체적으로, 트랜스코딩부(100)는 입력 동영상을 분석하여 비트스트림 레벨에서 영상의 시간 분할(Time division)을 수행할 수 있다. Specifically, the transcoding unit 100 may analyze the input video and perform time division of the image at the bitstream level.

이때, 시간 분할 간격은 1~N초로 설정이 가능하고, 영상에 따라 기본 값은 3~5초이며, 시간 분할은 비디오 Key frame (HEVC 및 H264/AVC의 IDR picture, MPEG-1/2/4의 Intra frame, AV1의 Key frame 등) 에서만 가능하기 때문에, 영상 내에서비디오 Key frame 위치에 따라 시간 분할 간격은 조금씩 변동될 수 있다. At this time, the time division interval can be set from 1 to N seconds, and the default value is 3 to 5 seconds depending on the video, and the time division is video key frame (IDR picture of HEVC and H264/AVC, MPEG-1/2/4 Since it is possible only in the Intra frame of (intra frame, Key frame of AV1, etc.), the time division interval may change little by little depending on the position of the video key frame in the video.

또한, 트랜스코딩부(100)는 저해상도의 이미지 비트스트림, 초고해상도의 이미지 비트스트림 및 고해상도의 이미지 비트스트림 중 적어도 하나가 생성되면, 비디오에 대한 오디오를 분산 처리하지 않고 단독으로 트랜스코딩할 수 있다. 이는, 오디오는 오디오코덱의 포맷 특성상 분산 처리가 거의 불가능하고, 트랜스코딩 연산 부하가 낮아서 마스터 단독으로 처리 가능하기 때문이다.In addition, when at least one of a low-resolution image bitstream, an ultra-high-resolution image bitstream, and a high-resolution image bitstream is generated, the transcoding unit 100 may independently transcode audio for video without distributed processing. . This is because the audio can be processed by the master alone because distributed processing is almost impossible due to the nature of the format of the audio codec, and the transcoding operation load is low.

그리고, 트랜스코딩부(100)는 시간 분할된 비디오를 다운샘플링한 후 하나의 비디오 인코더로 인코딩하여 저해상도의 이미지 비트스트림을 생성할 수 있다. In addition, the transcoding unit 100 may downsample the time-divided video and then encode it with one video encoder to generate a low-resolution image bitstream.

또한, 트랜스코딩부(100)는 시간 분할된 비디오를 복수의 타일로 공간 분할한 후, 복수의 비디오 인코더로 인코딩하여 초고해상도 및/또는 고해상도의 이미지 비트스트림을 생성할 수 있다. In addition, the transcoding unit 100 may spatially divide the time-divided video into a plurality of tiles and then encode the time-divided video with a plurality of video encoders to generate an image bitstream of ultra high resolution and/or high resolution.

구체적으로, 트랜스코딩부(100)는 비디오를 N1xM1개의 타일로 공간 분할한 후, 복수의 비디오 인코더로 인코딩하여 초고해상도의 이미지 비트스트림을 생성하고, 비디오를 N2xM2개의 타일로 공간 분할한 후, 복수의 비디오 인코더로 인코딩하여 고해상도의 이미지 비트스트림을 생성할 수 있다. 이를 위해, 트랜스코딩부(100)는, 초고해상도의 이미지 타일 개수 + 고해상도의 이미지 타일 개수 + 서브 이미지 개수 + 1 개의 비디오 인코더가 필요하다. Specifically, the transcoding unit 100 spatially divides the video into N1xM1 tiles, encodes it with a plurality of video encoders, generates an image bitstream of ultra high resolution, spatially divides the video into N2xM2 tiles, and It is possible to generate a high-resolution image bitstream by encoding with a video encoder of. To this end, the transcoding unit 100 needs the number of ultra-high resolution image tiles + the number of high resolution image tiles + the number of sub-images + one video encoder.

이때, 입력 동영상인 비디오는, 타일 기반 MPEG 영상이며, 초고해상도 이미지는, 제1 이미지의 해상도가 1024X1024인 경우, 각 타일당 해상도가 512X512이고, 고해상도 이미지는, 제1 이미지의 해상도가 1024X1024인 경우, 각 타일당 해상도가 256X256일 수 있다.At this time, the video that is the input video is a tile-based MPEG video, and for the ultra-high resolution image, when the resolution of the first image is 1024X1024, the resolution per tile is 512X512, and for the high-resolution image, when the resolution of the first image is 1024X1024 , The resolution per tile may be 256X256.

트랜스코딩부(100)는 저해상도의 이미지 비트스트림, 초고해상도의 이미지 비트스트림 및 고해상도의 이미지 비트스트림을 파일로 저장하고, 서버(200)에 전송할 수 있다. The transcoding unit 100 may store a low-resolution image bitstream, an ultra-high-resolution image bitstream, and a high-resolution image bitstream as files and transmit them to the server 200.

그리고 초고해상도의 이미지 비트스트림의 파일정보에, HQ_tiles 태그가 부가되고, 고해상도의 이미지 비트스트림의 파일정보에, MQ_tiles 태그가 부가되어, 서로 다른 해상도의 이미지 비트스트림을 식별할 수 있다. In addition, the HQ_tiles tag is added to the file information of the ultra-high resolution image bitstream, and the MQ_tiles tag is added to the file information of the high-resolution image bitstream, so that image bitstreams of different resolutions can be identified.

디코딩부(300)는 서버(200)로부터 서로 다른 해상도의 이미지 비트스트림에 대한 데이터를 수신하여 서로 다른 해상도의 이미지 비트스트림을 기반으로 서로 다른 해상도의 이미지를 생성하는 멀티 디코딩 과정을 수행할 수 있다.The decoding unit 300 may receive data on an image bitstream of different resolutions from the server 200 and perform a multi-decoding process of generating images of different resolutions based on the image bitstreams of different resolutions. .

예를 들면, 트랜스코딩부(100)는 타일로 분할하여 트랜스코딩된 초고화질 또는 고화질 영상들과 원본 초고해상도 영상으로부터 다운샘플된 Full-HD급의 저해상도 전체 영상(low resolution full video)을 일반 영상으로 인코딩하여 서버(200)에 전송하고, 디코딩부(300)는, 4K급의 고화질 분할영상을 디코딩하고, 동시에 저해상도 전체 영상을 디코딩할 수 있다. For example, the transcoding unit 100 divides into tiles and converts the transcoded ultra-high-definition or high-definition images and a full-HD class low-resolution full video downsampled from the original ultra-high-resolution image to a general image. It is encoded and transmitted to the server 200, and the decoding unit 300 may decode a 4K-class high-definition split image and simultaneously decode a low-resolution full image.

더불어, 분할영상 분산 디코딩 시스템은, 타일 기반 스트리밍 서비스 제공시, 상업적인 목적을 갖는 광고 또는 해당 영상과 관련된 추천영상이 함께 스트리밍되도록 할 수 있다. In addition, the split image distributed decoding system, when providing a tile-based streaming service, may allow an advertisement with a commercial purpose or a recommended image related to the corresponding image to be streamed together.

이를 위해, 트랜스코딩부(100)는 초고해상도 또는 고해상도 이미지 비트스트림이 생성된 이후, 하나 이상의 서브 미디어를 인코딩하여 서브 이미지 비트스트림을 생성할 수 있으며, 디코딩부(300)는, 서브 이미지 비트스트림을 파싱하여, 서브 미디어가 재구성된 서브 이미지를 생성하고, 제1 이미지에 서브 이미지를 부가하여 제2 이미지를 생성할 수 있다. To this end, the transcoding unit 100 may generate a sub-image bitstream by encoding one or more sub media after generating an ultra-high resolution or high-resolution image bitstream, and the decoding unit 300 may generate a sub-image bitstream. By parsing the sub-media, a sub-image reconstructed from the sub-media may be generated, and a second image may be generated by adding the sub-image to the first image.

이때, 서브 미디어(멀티 뷰 미디어)의 재구성된 서브 이미지는, 도 2에 예시된 바와 같이 복수의 서브 이미지가 동시에 출력될 수 있으며, 서브 미디어와 동일한 해상도의 이미지로 재구성되되, 서브 미디어 및 서브 이미지는, 제1 이미지의 해상도가 1024X1024인 경우, 해상도가 1920X1080일 수 있다. In this case, the reconstructed sub-image of the sub-media (multi-view media) may simultaneously output a plurality of sub-images as illustrated in FIG. 2, and are reconstructed into an image of the same resolution as the sub-media, but the sub-media and sub-image Is, when the resolution of the first image is 1024X1024, the resolution may be 1920X1080.

도 3은 타일 기반 스트리밍을 위한 분할영상 분산 디코딩 시스템의 설명에 제공된 도면이며, 도 4는 타일 기반 스트리밍을 위한 디먹싱 모듈(320)의 설명에 제공된 도면이고, 도 5 내지 도 6은 타일 기반 스트리밍을 위한 디코딩 모듈(330)의 설명에 제공된 도면이다. 3 is a diagram provided to explain a split image distributed decoding system for tile-based streaming, FIG. 4 is a diagram provided to explain a demuxing module 320 for tile-based streaming, and FIGS. 5 to 6 are tile-based streaming It is a diagram provided in the description of the decoding module 330 for.

본 발명의 일 실시예에 따른 디코딩부(300)는 저해상도의 이미지 비트스트림, 초고해상도의 이미지 비트스트림 및 고해상도의 이미지 비트스트림을 각각의 파싱 채널을 통해 파싱하여, 저해상도 이미지, 초고해상도 이미지 및 고해상도 이미지를 병렬적으로 생성하고, 사용자의 관심영역이 초고해상도 또는 고해상도 이미지로 구성되고, 관심영역의 주변영역이 저해상도 이미지로 구성되는 제1 이미지를 생성할 수 있다.The decoding unit 300 according to an embodiment of the present invention parses a low-resolution image bitstream, an ultra-high-resolution image bitstream, and a high-resolution image bitstream through respective parsing channels, thereby parsing a low-resolution image, an ultra-high-resolution image, and a high-resolution image bitstream. An image may be generated in parallel, and a first image may be generated in which a user's region of interest is composed of an ultra-high resolution or high-resolution image, and a peripheral region of the region of interest is composed of a low-resolution image.

또한, 디코딩부(300)는, 서브 이미지 비트스트림을 파싱하여, 서브 이미지를 생성하고, 제1 이미지에 서브 이미지를 부가하여 제2 이미지를 생성할 수 있다. 이때, 서브 이미지는, 제1 이미지의 주변영역에 부가되어, 제2 이미지가 생성되도록 할 수 있다. Also, the decoding unit 300 may generate a sub-image by parsing the sub-image bitstream, and may generate a second image by adding the sub-image to the first image. In this case, the sub-image may be added to a peripheral area of the first image to generate a second image.

다른 예를 들면, 디코딩부(300)는, 초고해상도의 이미지 타일 개수 + 고해상도의 이미지 타일 개수 + 서브 이미지 개수 + 1 개의 파싱 채널, 디먹싱 채널, 디코딩 채널이 마련되어, 저해상도 이미지, 초고해상도 이미지, 고해상도 이미지 및 서브 이미지가 모두 병렬적으로 생성되어, 사용자의 관심영역이 초고해상도 또는 고해상도 이미지로 구성되는 동시에 관심영역의 주변영역에 서브 이미지가 부가되어 제2 이미지가 생성될 수 있다. For another example, the decoding unit 300 provides the number of ultra-high resolution image tiles + the number of high resolution image tiles + the number of sub-images + one parsing channel, a demux channel, and a decoding channel, a low-resolution image, an ultra-high-resolution image, Since both the high-resolution image and the sub-image are generated in parallel, the user's region of interest is composed of an ultra-high resolution or high-resolution image, and a second image may be generated by adding a sub-image to the peripheral region of the region of interest.

이를 위해, 디코딩부(300)는, 파싱 모듈(310), 디먹싱 모듈(320), 디코딩 모듈(330), 랜더러 모듈(340)을 포함할 수 있다. To this end, the decoding unit 300 may include a parsing module 310, a demuxing module 320, a decoding module 330, and a renderer module 340.

파싱 모듈(310)은, 해상도별(HQ, MQ, LQ) 파싱 채널이 마련되고, 서브 이미지 수만큼의 파싱 채널이 추가로 마련되어, 저해상도의 이미지 비트스트림, 초고해상도의 이미지 비트스트림, 고해상도의 이미지 비트스트림 및 서브 이미지 비트스트림을 병렬적으로 파싱하여 디먹싱 모듈(320)에 전달할 수 있다. The parsing module 310 is provided with a parsing channel for each resolution (HQ, MQ, LQ), and additionally provides parsing channels as many as the number of sub-images, and a low-resolution image bitstream, an ultra-high-resolution image bitstream, and a high-resolution image The bitstream and the sub-image bitstream may be parsed in parallel and transmitted to the demuxing module 320.

다른 예를 들면, 파싱 모듈(310)은, 초고해상도의 이미지 타일 개수 + 고해상도의 이미지 타일 개수 + 서브 이미지 개수 + 1 개의 파싱 채널이 마련되어, 저해상도의 이미지 비트스트림, 초고해상도의 이미지 비트스트림, 고해상도의 이미지 비트스트림 및 서브 이미지 비트스트림을 병렬적으로 파싱하여 디먹싱 모듈(320)에 전달할 수 있다. For another example, the parsing module 310 provides the number of ultra-high resolution image tiles + the number of high resolution image tiles + the number of sub-images + one parsing channel, and provides a low-resolution image bitstream, an ultra-high resolution image bitstream, and a high-resolution image. The image bitstream and the sub-image bitstream of may be parsed in parallel and transmitted to the demuxing module 320.

이때, 각각의 이미지 비트스트림의 패킷은, 스트림의 타입이 초고해상도(HQ), 고해상도(MQ), 저해상도(LQ) 및 서브 이미지(SUB) 중 어느 타인인지 나타내는 Type, 초고해상도(HQ) 타일의 인텍스인 StreamIdx, 새그먼트의 인덱스인 SegIdx, 새그먼트의 수를 나타내는 SegNum, HEVC 스트림의 사이즈를 나타내는 Size, HEVC 스트림의 데이터가 저장되는 HEVC Stream 및 새그먼트 종료 플래그를 나타내는 EOS로 구성될 수 있다. At this time, the packet of each image bitstream is a type indicating which one of the stream type is ultra-high resolution (HQ), high-resolution (MQ), low-resolution (LQ), and sub-image (SUB), and the type of the ultra-high-resolution (HQ) tile. It may be composed of StreamIdx as an index, SegIdx as an index of segments, SegNum indicating the number of segments, Size indicating the size of the HEVC stream, HEVC Stream in which data of the HEVC stream is stored, and EOS indicating the segment end flag.

여기서, 스트림은, HQ 또는 MQ의 단위를 나타내며, LQ는 스트림 수가 1이며, 서브 이미지는 개수와 스트림 수가 동일하다. 또한, 새그먼트는 파서 버퍼에 담겨지는 단위를 나타내며, 하나의 새그먼트 안에 복수의 스트림이 포함될 수 있다. Here, the stream represents a unit of HQ or MQ, LQ represents the number of streams 1, and the number of sub-images is the same as the number of streams. Further, the segment represents a unit contained in the parser buffer, and a plurality of streams may be included in one segment.

디먹싱 모듈(320)은 해상도별(HQ, MQ, LQ) 디먹싱 채널이 마련되고, 서브 이미지 수만큼의 디먹싱 채널이 추가로 마련되어, 각각의 이미지 비트스트림을 디먹싱 하여 HEVC 스트림을 생성하고, 디코딩 모듈(330)에 전달할 수 있다. In the demuxing module 320, a demuxing channel for each resolution (HQ, MQ, LQ) is provided, and a demuxing channel equal to the number of sub-images is additionally provided, and an HEVC stream is generated by demuxing each image bitstream. , May be transmitted to the decoding module 330.

다른 예들 들면, 디먹싱 모듈(320)은 파싱 채널의 수가 초고해상도의 이미지 타일 개수 + 고해상도의 이미지 타일 개수 + 서브 이미지 개수 + 1 개인 경우, 초고해상도의 이미지 타일 개수 + 고해상도의 이미지 타일 개수 + 서브 이미지 개수 + 1 개의 디먹싱 채널이 마련되어, 각각의 이미지 비트스트림을 디먹싱 하여 HEVC 스트림을 생성하고, 디코딩 모듈(330)에 전달할 수 있다. For other examples, when the number of parsing channels is the number of super-resolution image tiles + the number of high-resolution image tiles + the number of sub-images + 1, the demuxing module 320 includes the number of ultra-high-resolution image tiles + the number of high-resolution image tiles + sub The number of images + 1 demuxing channel is provided, and an HEVC stream may be generated by demuxing each image bitstream, and transmitted to the decoding module 330.

여기서, HEVC 스트림은, 비디오 코덱인 HEVC(High-Efficiency Video Coding)을 지원하는 미디어 스트림을 의미한다. Here, the HEVC stream means a media stream supporting High-Efficiency Video Coding (HEVC), which is a video codec.

또한, 이때, 각각의 이미지 패킷은, 스트림의 타입이 초고해상도(HQ), 고해상도(MQ), 저해상도(LQ) 및 서브 이미지(SUB) 중 어느 타인인지 나타내는 Type, 초고해상도(HQ) 타일의 인텍스인 StreamIdx, 새그먼트의 인덱스인 SegIdx, 새그먼트의 수를 나타내는 SegNum, 현재 타임 스탬프를 나타내는 PTS, 스트림의 기간을 나타내는 Duration, 사용 중인 타입 스탬프의 Numerator 및 Denominator, HEVC 스트림의 데이터가 저장되는 HEVC Stream 및 HEVC 스트림의 크기를 나타내는 Stream Size로 구성될 수 있다. In addition, at this time, each image packet is a type indicating which one of the stream type is ultra-high resolution (HQ), high-resolution (MQ), low-resolution (LQ), and sub-image (SUB), and the index of the ultra-high resolution (HQ) tile. In StreamIdx, SegIdx as the index of the segment, SegNum indicating the number of segments, PTS indicating the current time stamp, Duration indicating the duration of the stream, Numerator and Denominator of the type stamp being used, HEVC stream in which data of the HEVC stream is stored And Stream Size indicating the size of the HEVC stream.

디코딩 모듈(330)은 저해상도 이미지, 초고해상도 이미지, 고해상도 이미지 및 서브 이미지를 병렬적으로 생성할 수 있다. The decoding module 330 may generate a low-resolution image, an ultra-high-resolution image, a high-resolution image, and a sub-image in parallel.

구체적으로, 디코딩 모듈(330)은, 파싱 채널 및 디먹싱 채널의 수가 초고해상도의 이미지 타일 개수 + 고해상도의 이미지 타일 개수 + 서브 이미지 개수 + 1 개인 경우, 초고해상도의 이미지 타일 개수 + 고해상도의 이미지 타일 개수 + 서브 이미지 개수 + 1 개의 디코딩 채널이 마련되어, 저해상도 이미지, 초고해상도 이미지, 고해상도 이미지 및 서브 이미지를 병렬적으로 생성할 수 있다. Specifically, when the number of parsing channels and demuxing channels is the number of ultra-high resolution image tiles + number of high resolution image tiles + number of sub-images + 1, the decoding module 330 includes the number of ultra-high resolution image tiles + high resolution image tiles. The number + number of sub-images + one decoding channel is provided, so that low-resolution images, super-resolution images, high-resolution images, and sub-images can be generated in parallel.

랜더러 모듈(340)은 사용자의 관심영역이 초고해상도 또는 고해상도 이미지로 구성되고, 관심영역의 주변영역이 저해상도 이미지로 구성되는 제1 이미지를 생성할 수 있다. The renderer module 340 may generate a first image in which a user's region of interest is composed of an ultra-high resolution or high-resolution image, and a peripheral region of the region of interest is composed of a low-resolution image.

구체적으로 랜더러 모듈(340)은, 사용자의 시점(View)에 따라 사용자의 관심영역을 설정하고, 설정된 관심영역 이외에 영역을 주변영역으로 설정하여, 제1 이미지를 생성할 수 있다. Specifically, the renderer module 340 may generate a first image by setting a user's region of interest according to the user's viewpoint, and setting an area other than the set region of interest as a peripheral region.

다른 예를 들면, 랜더러 모듈(340)은, 사용자의 관심영역이 설정되면, 설정된 관심영역으로부터 기설정된 범위 이내의 영역을 제1 주변영역으로 설정하고, 관심영역 및 제1 주변영역 이외에 영역을 제2 주변영역으로 설정하여, 관심영역이 초고해상도 이미지로 구성되면, 제1 주변영역이 고해상도 이미지로 구성되고, 제2 주변영역이 저해상도 이미지로 구성되는 제1 이미지를 생성할 수 있다. For another example, when the user's region of interest is set, the renderer module 340 sets the region within a preset range from the set region of interest as the first peripheral region, and determines the region other than the region of interest and the first peripheral region. 2 When the region of interest is configured as an ultra-high resolution image by setting it as the peripheral region, a first image in which the first peripheral region is composed of a high-resolution image and the second peripheral region is composed of a low-resolution image may be generated.

그리고 랜더러 모듈(340)은, 제1 이미지가 생성되면, 제1 이미지에 서브 이미지를 부가하여 제2 이미지를 생성할 수 있다. In addition, when the first image is generated, the renderer module 340 may generate a second image by adding a sub-image to the first image.

이를 통해, 타일 기반 스트리밍 서비스 제공시, 초고화질 영상을 제공하며, 사용자의 FOV 뷰 스위칭시 지연이 최소화 되도록 할 수 있으며, 상업적인 목적을 갖는 광고 또는 해당 영상과 관련된 추천영상을 함께 스트리밍하여, 유연한 서비스의 제공이 가능하도록 할 수 있다.Through this, when providing tile-based streaming service, it provides ultra-high-definition video, minimizes delay when switching the user's FOV view, and streams commercial advertisements or recommended videos related to the video together, providing a flexible service. Can be made available.

한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.Meanwhile, it goes without saying that the technical idea of the present invention can be applied to a computer-readable recording medium containing a computer program that performs functions of the apparatus and method according to the present embodiment. Further, the technical idea according to various embodiments of the present disclosure may be implemented in the form of a computer-readable code recorded on a computer-readable recording medium. The computer-readable recording medium can be any data storage device that can be read by a computer and can store data. For example, a computer-readable recording medium may be a ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical disk, hard disk drive, or the like. Also, a computer-readable code or program stored in a computer-readable recording medium may be transmitted through a network connected between computers.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.In addition, although the preferred embodiments of the present invention have been illustrated and described above, the present invention is not limited to the specific embodiments described above, and the technical field to which the present invention belongs without departing from the gist of the present invention claimed in the claims. In addition, various modifications are possible by those of ordinary skill in the art, and these modifications should not be individually understood from the technical spirit or prospect of the present invention.

100 : 트랜스코딩부
200 : 서버
300 : 디코딩부
310 : 파싱 모듈
320 : 디먹싱 모듈
330 : 디코딩 모듈
340 : 렌더러 모듈100: transcoding unit
200: server
300: decoding unit
310: parsing module
320: demuxing module
330: decoding module
340: renderer module

Claims (12)

비디오를 다운샘플링한 후 하나의 비디오 인코더로 인코딩하여 저해상도의 이미지 비트스트림을 생성하고, 비디오를 N1xM1개의 타일로 공간 분할한 후, 복수의 비디오 인코더로 인코딩하여 초고해상도의 이미지 비트스트림을 생성하며, 비디오를 N2xM2개의 타일로 공간 분할한 후, 복수의 비디오 인코더로 인코딩하여 고해상도의 이미지 비트스트림을 생성하는 단계;
저해상도의 이미지 비트스트림, 초고해상도의 이미지 비트스트림 및 고해상도의 이미지 비트스트림을 각각의 파싱 채널을 통해 파싱하여, 저해상도 이미지, 초고해상도 이미지 및 고해상도 이미지를 병렬적으로 생성하는 단계; 및
사용자의 관심영역이 초고해상도 또는 고해상도 이미지로 구성되고, 관심영역의 주변영역이 저해상도 이미지로 구성되는 제1 이미지를 생성하는 단계;를 포함하는 분할영상 분산 디코딩 방법.
After downsampling the video, it is encoded with one video encoder to generate a low-resolution image bitstream, and after spatially splitting the video into N1xM1 tiles, it is encoded with a plurality of video encoders to generate an image bitstream of ultra-high resolution. Spatially dividing the video into N2xM2 tiles and then encoding it with a plurality of video encoders to generate a high-resolution image bitstream;
Parsing a low-resolution image bitstream, an ultra-high-resolution image bitstream, and a high-resolution image bitstream through respective parsing channels to generate a low-resolution image, an ultra-high-resolution image, and a high-resolution image in parallel; And
Generating a first image in which a user's region of interest is composed of an ultra-high resolution or high-resolution image, and a peripheral region of the region of interest is composed of a low-resolution image.
 청구항 1에 있어서,
초고해상도 또는 고해상도 이미지 비트스트림이 생성된 이후, 하나 이상의 서브 미디어를 인코딩하여 서브 이미지 비트스트림을 생성하는 단계;
서브 이미지 비트스트림을 파싱하여, 서브 미디어가 재구성된 서브 이미지를 생성하는 단계; 및
제1 이미지에 서브 이미지를 부가하여 제2 이미지를 생성하는 단계;를 더 포함하는 것을 특징으로 하는 분할영상 분산 디코딩 방법.
The method according to claim 1,
Generating a sub-image bitstream by encoding at least one sub-media after generating an ultra-high resolution or high-resolution image bitstream;
Parsing the sub-image bitstream to generate a sub-image reconstructed from the sub-media; And
And generating a second image by adding the sub-image to the first image.
 청구항 2에 있어서,
서브 이미지는,
서브 미디어와 동일한 해상도의 이미지로 재구성되되,
서브 미디어 및 서브 이미지는,
제1 이미지의 해상도가 1024X1024인 경우, 해상도가 1920X1080인 것을 특징으로 하는 분할영상 분산 디코딩 방법.
The method according to claim 2,
The sub image is,
It is reconstructed into an image of the same resolution as the sub media
Sub media and sub images,
When the resolution of the first image is 1024X1024, the split image distributed decoding method, characterized in that the resolution is 1920X1080.
 청구항 2에 있어서,
서브 이미지는,
상업적인 목적을 갖는 광고정보 또는 해당 영상과 관련된 추천영상에 대한 정보가 포함되며,
제1 이미지의 주변영역에 배치되도록 부가되는 것을 특징으로 하는 분할영상 분산 디코딩 방법.
The method according to claim 2,
The sub image is,
It includes advertisement information for commercial purposes or information on recommended videos related to the video,
Split image distributed decoding method, characterized in that added to be disposed in the peripheral region of the first image.
 청구항 1에 있어서,
저해상도의 이미지 비트스트림, 초고해상도의 이미지 비트스트림 및 고해상도의 이미지 비트스트림을 파일로 저장하는 단계;를 더 포함하고,
파일로 저장하는 단계는,
초고해상도의 이미지 비트스트림의 파일정보에, HQ_tiles 태그가 부가되고,
고해상도의 이미지 비트스트림의 파일정보에, MQ_tiles 태그가 부가되는 것을 특징으로 하는 분할영상 분산 디코딩 방법.
The method according to claim 1,
The step of storing a low-resolution image bitstream, an ultra-high-resolution image bitstream, and a high-resolution image bitstream as a file; further comprising,
The steps to save to a file are:
HQ_tiles tag is added to the file information of the image bitstream of ultra high resolution,
Split image distributed decoding method, characterized in that the MQ_tiles tag is added to the file information of the high-resolution image bitstream.
 청구항 1에 있어서,
비디오는,
타일 기반 MPEG 영상이며,
초고해상도 이미지는,
제1 이미지의 해상도가 1024X1024인 경우, 각 타일당 해상도가 512X512이고,
고해상도 이미지는,
제1 이미지의 해상도가 1024X1024인 경우, 각 타일당 해상도가 256X256인 것을 특징으로 하는 특징으로 하는 분할영상 분산 디코딩 방법.
The method according to claim 1,
The video is,
It is a tile-based MPEG video,
Super high resolution images,
If the resolution of the first image is 1024X1024, the resolution per tile is 512X512,
High resolution images,
When the resolution of the first image is 1024X1024, the split image distributed decoding method, characterized in that the resolution per tile is 256X256.
 청구항 1에 있어서,
제1 이미지를 생성하는 단계는,
사용자의 시점(View)에 따라 사용자의 관심영역을 설정하고, 설정된 관심영역 이외에 영역을 주변영역으로 설정하는 것을 특징으로 하는 분할영상 분산 디코딩 방법.
The method according to claim 1,
The step of generating the first image,
A split image distributed decoding method, characterized in that the user's region of interest is set according to the user's view, and an area other than the set region of interest is set as a peripheral region.
 청구항 7에 있어서,
제1 이미지를 생성하는 단계는,
사용자의 관심영역이 설정되면, 설정된 관심영역으로부터 기설정된 범위 이내의 영역을 제1 주변영역으로 설정하고, 관심영역 및 제1 주변영역 이외에 영역을 제2 주변영역으로 설정하여,
관심영역이 초고해상도 이미지로 구성되면, 제1 주변영역이 고해상도 이미지로 구성되고, 제2 주변영역이 저해상도 이미지로 구성되는 것을 특징으로 하는 분할영상 분산 디코딩 방법.
The method of claim 7,
The step of generating the first image,
When the user's region of interest is set, the region within the preset range from the set region of interest is set as the first peripheral region, and the region other than the region of interest and the first peripheral region is set as the second peripheral region,
A split image distributed decoding method, characterized in that when the ROI is composed of an ultra-high resolution image, the first peripheral region is composed of a high-resolution image, and the second peripheral region is composed of a low-resolution image.
 청구항 1에 있어서,
저해상도의 이미지 비트스트림, 초고해상도의 이미지 비트스트림 및 고해상도의 이미지 비트스트림 중 적어도 하나가 생성되면, 비디오에 대한 오디오를 분산 처리하지 않고 트랜스코딩하는 단계;를 더 포함하는 것을 특징으로 하는 분할영상 분산 디코딩 방법.
The method according to claim 1,
When at least one of a low-resolution image bitstream, an ultra-high-resolution image bitstream, and a high-resolution image bitstream is generated, transcoding the audio for the video without distributed processing; split image distribution, characterized in that it further comprises Decoding method.
 비디오를 다운샘플링한 후 하나의 비디오 인코더로 인코딩하여 저해상도의 이미지 비트스트림을 생성하고, 비디오를 N1xM1개의 타일로 공간 분할한 후, 복수의 비디오 인코더로 인코딩하여 초고해상도의 이미지 비트스트림을 생성하며, 비디오를 N2xM2개의 타일로 공간 분할한 후, 복수의 비디오 인코더로 인코딩하여 고해상도의 이미지 비트스트림을 생성하는 트랜스코딩부; 및
저해상도의 이미지 비트스트림, 초고해상도의 이미지 비트스트림 및 고해상도의 이미지 비트스트림을 각각의 파싱 채널을 통해 파싱하여, 저해상도 이미지, 초고해상도 이미지 및 고해상도 이미지를 병렬적으로 생성하고, 사용자의 관심영역이 초고해상도 또는 고해상도 이미지로 구성되고, 관심영역의 주변영역이 저해상도 이미지로 구성되는 이미지를 생성하는 디코딩부;를 포함하는 분할영상 분산 디코딩 시스템.
After downsampling the video, it is encoded with one video encoder to generate a low-resolution image bitstream, and after spatially splitting the video into N1xM1 tiles, it is encoded with a plurality of video encoders to generate an image bitstream of ultra-high resolution. A transcoding unit that spatially divides the video into N2xM2 tiles and then encodes it with a plurality of video encoders to generate a high-resolution image bitstream; And
A low-resolution image bitstream, an ultra-high-resolution image bitstream, and a high-resolution image bitstream are parsed through respective parsing channels to generate low-resolution images, ultra-high-resolution images, and high-resolution images in parallel, and the user's region of interest is A split image distributed decoding system comprising: a decoding unit configured as a high-resolution or high-resolution image and generating an image in which a peripheral region of the ROI is configured as a low-resolution image.
 입력 동영상을 분석하여 비트스트림 레벨에서 시간 분할하는 단계;
시간 분할된 비디오를 다운샘플링한 후 하나의 비디오 인코더로 인코딩하여 저해상도의 이미지 비트스트림을 생성하고, 시간 분할된 비디오를 복수의 타일로 공간 분할한 후, 복수의 비디오 인코더로 인코딩하여 초고해상도 또는 고해상도의 이미지 비트스트림을 생성하고, 하나 이상의 서브 미디어를 인코딩하여 서브 이미지 비트스트림을 생성하는 단계;
저해상도의 이미지 비트스트림 및 초고해상도 또는 고해상도의 이미지 비트스트림을 각각의 파싱 채널을 통해 파싱하여, 저해상도 이미지 및 초고해상도 이미지 또는 고해상도 이미지, 그리고 서브 이미지 비트스트림을 파싱하여, 서브 미디어가 재구성된 서브 이미지를 병렬적으로 생성하는 생성하는 단계; 및
사용자의 관심영역이 초고해상도 또는 고해상도 이미지로 구성되고, 관심영역의 주변영역이 저해상도 이미지로 구성되되, 주변영역에 서브 이미지가 부가된 이미지를 생성하는 단계;를 포함하는 분할영상 분산 디코딩 방법.
Analyzing the input video and dividing time at a bitstream level;
After downsampling the time-divided video, it is encoded with one video encoder to generate a low-resolution image bitstream, and the time-divided video is spatially divided into a plurality of tiles, and then encoded with a plurality of video encoders to achieve ultra-high resolution or high resolution. Generating an image bitstream of and encoding one or more sub media to generate a sub image bitstream;
Sub-images reconstructed by parsing low-resolution image bitstreams and ultra-high-resolution or high-resolution image bitstreams through respective parsing channels, parsing low-resolution images, ultra-high-resolution images or high-resolution images, and sub-image bitstreams Generating generating in parallel; And
Generating an image in which the user's region of interest is composed of an ultra-high resolution or high-resolution image, and the peripheral region of the region of interest is composed of a low-resolution image, and a sub-image is added to the peripheral region.
 입력 동영상을 분석하여 비트스트림 레벨에서 시간 분할하고, 시간 분할된 비디오를 다운샘플링한 후 하나의 비디오 인코더로 인코딩하여 저해상도의 이미지 비트스트림을 생성하고, 시간 분할된 비디오를 복수의 타일로 공간 분할한 후, 복수의 비디오 인코더로 인코딩하여 초고해상도 또는 고해상도의 이미지 비트스트림을 생성하고, 하나 이상의 서브 미디어를 인코딩하여 서브 이미지 비트스트림을 생성하는 트랜스코딩부; 및
저해상도의 이미지 비트스트림 및 초고해상도 또는 고해상도의 이미지 비트스트림을 각각의 파싱 채널을 통해 파싱하여, 저해상도 이미지 및 초고해상도 이미지 또는 고해상도 이미지, 그리고 서브 이미지 비트스트림을 파싱하여, 서브 미디어가 재구성된 서브 이미지를 병렬적으로 생성하는 생성하고, 사용자의 관심영역이 초고해상도 또는 고해상도 이미지로 구성되고, 관심영역의 주변영역이 저해상도 이미지로 구성되되, 주변영역에 서브 이미지가 부가된 이미지를 생성하는 디코딩부;를 포함하는 분할영상 분산 디코딩 시스템.
Analyzing the input video, time-segmentation at the bitstream level, downsampling the time-divided video, and encoding with one video encoder to generate a low-resolution image bitstream, and spatially dividing the time-divided video into multiple tiles. Thereafter, a transcoding unit that generates an image bitstream of ultra high resolution or high resolution by encoding with a plurality of video encoders, and generates a sub image bitstream by encoding one or more sub media; And
Sub-images reconstructed by parsing low-resolution image bitstreams and ultra-high-resolution or high-resolution image bitstreams through respective parsing channels, parsing low-resolution images, ultra-high-resolution images or high-resolution images, and sub-image bitstreams A decoding unit that generates and generates in parallel, the user's region of interest is composed of an ultra-high resolution or high-resolution image, the peripheral region of the region of interest is composed of a low-resolution image, and a sub-image is added to the peripheral region; Split image distributed decoding system comprising a.
KR1020190031046A 2019-03-19 2019-03-19 Division video distributed decoding method and system for tiled streaming KR102317938B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/KR2019/003179 WO2020189817A1 (en) 2019-03-19 2019-03-19 Method and system for distributed decoding of split image for tile-based streaming
KR1020190031046A KR102317938B1 (en) 2019-03-19 2019-03-19 Division video distributed decoding method and system for tiled streaming

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190031046A KR102317938B1 (en) 2019-03-19 2019-03-19 Division video distributed decoding method and system for tiled streaming

Publications (2)

Publication Number Publication Date
KR20200111410A true KR20200111410A (en) 2020-09-29
KR102317938B1 KR102317938B1 (en) 2021-10-27

Family

ID=72520935

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190031046A KR102317938B1 (en) 2019-03-19 2019-03-19 Division video distributed decoding method and system for tiled streaming

Country Status (2)

Country Link
KR (1) KR102317938B1 (en)
WO (1) WO2020189817A1 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220067771A (en) * 2020-11-18 2022-05-25 주식회사 엘지유플러스 Image processing device and image playing device for high resolution image streaming and operaing method of thereof
WO2022225233A1 (en) * 2021-04-22 2022-10-27 엘지전자 주식회사 Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
WO2022231267A1 (en) * 2021-04-26 2022-11-03 네이버 주식회사 Method, computer device, and computer program for providing high-quality image of region of interest by using single stream
KR20230082271A (en) * 2021-12-01 2023-06-08 주식회사 엘지유플러스 The method and apparatus for playing tile based multiview video
WO2023128491A1 (en) * 2021-12-30 2023-07-06 주식회사 카이 Operation method for system for transmitting multi-channel image, and system for performing same
KR102641876B1 (en) * 2023-06-27 2024-02-29 주식회사 인텔리빅스 Apparatus and Method for Simultaneous Playback of Interest Video

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112954398B (en) * 2021-02-07 2023-03-24 杭州网易智企科技有限公司 Encoding method, decoding method, device, storage medium and electronic equipment
CN113453086A (en) * 2021-03-29 2021-09-28 北京国际云转播科技有限公司 Multi-machine-position synchronous cloud broadcasting guiding method, system, storage medium and video encoder
US11694655B2 (en) 2021-05-20 2023-07-04 Tcl China Star Optoelectronics Technology Co., Ltd. Video play system, video play device, and video play method
CN113344781B (en) * 2021-05-20 2023-12-05 Tcl华星光电技术有限公司 Video playing system, component and method
CN116634177B (en) * 2023-06-16 2024-02-20 北京行者无疆科技有限公司 Video communication decoding processing method based on HDMI communication equipment

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012010117A (en) * 2010-06-25 2012-01-12 Kddi Corp Video output device, program and method for determining region of additional information to be superimposed on video contents
KR20180004029A (en) * 2016-07-01 2018-01-10 에스케이텔레콤 주식회사 Method and Apparatus for Generating Video Bit Stream for Streaming High Resolution Video
KR20180013243A (en) * 2016-07-29 2018-02-07 에스케이텔레콤 주식회사 Method and Apparatus for Providing and Storing Streaming Contents
JP2018067966A (en) * 2014-11-26 2018-04-26 ソニー株式会社 Live selective adaptive bandwidth

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015102462A1 (en) * 2014-01-06 2015-07-09 에스케이텔레콤 주식회사 Single bit stream generating method and generating device for multiple images
KR102313485B1 (en) * 2015-04-22 2021-10-15 삼성전자주식회사 Method and apparatus for transmitting and receiving image data for virtual reality streaming service
US11163358B2 (en) * 2016-03-17 2021-11-02 Sony Interactive Entertainment Inc. Spectating virtual (VR) environments associated with VR user interactivity
US10313763B2 (en) * 2016-07-29 2019-06-04 Mediatek, Inc. Method and apparatus for requesting and receiving selected segment streams based on projection information

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012010117A (en) * 2010-06-25 2012-01-12 Kddi Corp Video output device, program and method for determining region of additional information to be superimposed on video contents
JP2018067966A (en) * 2014-11-26 2018-04-26 ソニー株式会社 Live selective adaptive bandwidth
KR20180004029A (en) * 2016-07-01 2018-01-10 에스케이텔레콤 주식회사 Method and Apparatus for Generating Video Bit Stream for Streaming High Resolution Video
KR20180013243A (en) * 2016-07-29 2018-02-07 에스케이텔레콤 주식회사 Method and Apparatus for Providing and Storing Streaming Contents

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220067771A (en) * 2020-11-18 2022-05-25 주식회사 엘지유플러스 Image processing device and image playing device for high resolution image streaming and operaing method of thereof
WO2022225233A1 (en) * 2021-04-22 2022-10-27 엘지전자 주식회사 Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
WO2022231267A1 (en) * 2021-04-26 2022-11-03 네이버 주식회사 Method, computer device, and computer program for providing high-quality image of region of interest by using single stream
KR20230082271A (en) * 2021-12-01 2023-06-08 주식회사 엘지유플러스 The method and apparatus for playing tile based multiview video
WO2023128491A1 (en) * 2021-12-30 2023-07-06 주식회사 카이 Operation method for system for transmitting multi-channel image, and system for performing same
KR102641876B1 (en) * 2023-06-27 2024-02-29 주식회사 인텔리빅스 Apparatus and Method for Simultaneous Playback of Interest Video

Also Published As

Publication number Publication date
KR102317938B1 (en) 2021-10-27
WO2020189817A1 (en) 2020-09-24

Similar Documents

Publication Publication Date Title
KR102317938B1 (en) Division video distributed decoding method and system for tiled streaming
US8107524B2 (en) Adaptive bandwidth footprint matching for multiple compressed video streams in a fixed bandwidth network
US10623754B2 (en) Information processing device and method
KR101944565B1 (en) Reducing latency in video encoding and decoding
CN113498606A (en) Apparatus, method and computer program for video encoding and decoding
US10917653B2 (en) Accelerated re-encoding of video for video delivery
JP7179163B2 (en) bitstream merge
CN101878649A (en) An extension to the avc standard to support the encoding and storage of high resolution digital still pictures in parallel with video
TWI826969B (en) Encoder and decoder, encoding method and decoding method with profile and level dependent coding options
Aksay et al. End-to-end stereoscopic video streaming with content-adaptive rate and format control
US10609383B2 (en) Video compression using down-sampling patterns in two phases
CN114127800A (en) Method for cross-layer alignment in coded video stream
JP5734699B2 (en) Super-resolution device for distribution video
CN112118454B (en) Video decoding method, apparatus and computer-readable storage medium
Rusert et al. Guided just-in-time transcoding for cloud-based video platforms
KR102312668B1 (en) Video transcoding system
US11356683B2 (en) Creating different video stream representations
US20240048764A1 (en) Method and apparatus for multi view video encoding and decoding, and method for transmitting bitstream generated by the multi view video encoding method
Patel et al. Image segmentation approach for realizing zoomable streaming HEVC video
KR101981868B1 (en) Virtual reality video quality control
Diascorn How AI technology is dramatically improving video compression for broadcast and OTT content delivery
Saxena et al. Analysis of implementation strategies for video communication on some parameters
WO2023021362A1 (en) Video coding concept for handling of motion-vectors in streaming scenarios
KR20220059929A (en) Method and device of processing multi-view video

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant