KR102317938B1 - Division video distributed decoding method and system for tiled streaming - Google Patents
Division video distributed decoding method and system for tiled streaming Download PDFInfo
- Publication number
- KR102317938B1 KR102317938B1 KR1020190031046A KR20190031046A KR102317938B1 KR 102317938 B1 KR102317938 B1 KR 102317938B1 KR 1020190031046 A KR1020190031046 A KR 1020190031046A KR 20190031046 A KR20190031046 A KR 20190031046A KR 102317938 B1 KR102317938 B1 KR 102317938B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- resolution
- resolution image
- sub
- bitstream
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 230000002093 peripheral effect Effects 0.000 claims abstract description 58
- 238000000638 solvent extraction Methods 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 11
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/167—Position within a video image, e.g. region of interest [ROI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
- H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Discrete Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
타일 기반 스트리밍을 위하여, DASH 프로토콜로 분할된 8K급 HEVC tiled 분할 영상과 2K급 다중 영상을 실시간으로 디코딩하는 분할영상 분산 디코딩 방법 및 시스템이 제공된다. 본 발명의 실시예에 따른 분할영상 분산 디코딩 방법은 비디오를 다운샘플링한 후 하나의 비디오 인코더로 인코딩하여 저해상도의 이미지 비트스트림을 생성하고, 비디오를 N1xM1개의 타일로 공간 분할한 후, 복수의 비디오 인코더로 인코딩하여 초고해상도의 이미지 비트스트림을 생성하며, 비디오를 N2xM2개의 타일로 공간 분할한 후, 복수의 비디오 인코더로 인코딩하여 고해상도의 이미지 비트스트림을 생성하는 단계; 저해상도의 이미지 비트스트림, 초고해상도의 이미지 비트스트림 및 고해상도의 이미지 비트스트림을 각각의 파싱 채널을 통해 파싱하여, 저해상도 이미지, 초고해상도 이미지 및 고해상도 이미지를 병렬적으로 생성하는 단계; 및 사용자의 관심영역이 초고해상도 또는 고해상도 이미지로 구성되고, 관심영역의 주변영역이 저해상도 이미지로 구성되는 제1 이미지를 생성하는 단계;를 포함한다. 이에 의해, 타일 기반 스트리밍 서비스 제공시, 초고화질 영상을 제공하며, 사용자의 FOV 뷰 스위칭시 지연이 최소화 되도록 할 수 있다. 또한, 상업적인 목적을 갖는 광고 또는 해당 영상과 관련된 추천영상을 함께 스트리밍하여, 유연한 서비스 제공이 가능할 수 있다. For tile-based streaming, a split image distributed decoding method and system for decoding an 8K-class HEVC tiled split image and a 2K-class multi-image segmented by the DASH protocol in real time are provided. In a split image distributed decoding method according to an embodiment of the present invention, a video is downsampled and encoded with one video encoder to generate a low-resolution image bitstream, the video is spatially partitioned into N1xM1 tiles, and then a plurality of video encoders are used. generating an ultra-high-resolution image bitstream by encoding, spatially dividing the video into N2xM2 tiles, and encoding the video with a plurality of video encoders to generate a high-resolution image bitstream; parsing the low-resolution image bitstream, the ultra-high-resolution image bitstream, and the high-resolution image bitstream through each parsing channel to generate a low-resolution image, an ultra-high-resolution image, and a high-resolution image in parallel; and generating a first image in which the user's region of interest consists of an ultra-high-resolution or high-resolution image, and the peripheral region of the region of interest consists of a low-resolution image. Accordingly, when a tile-based streaming service is provided, an ultra-high-definition image may be provided, and a delay may be minimized when the user switches the FOV view. In addition, it may be possible to provide a flexible service by streaming an advertisement having a commercial purpose or a recommended image related to the corresponding image.
Description
본 발명은 분할영상 분산 디코딩 방법 및 시스템에 관한 것으로, 더욱 상세하게는 타일 기반 스트리밍을 위하여, DASH 프로토콜로 분할된 8K급 HEVC(High-Efficiency Video Coding) tiled 분할 영상과 2K급 다중 영상을 실시간으로 디코딩하는 분할영상 분산 디코딩 방법 및 시스템에 관한 것이다.The present invention relates to a method and system for distributed decoding of split images, and more particularly, for tile-based streaming, 8K-class HEVC (High-Efficiency Video Coding) tiled split images and 2K-class multi-images divided by DASH protocol in real time It relates to a method and system for split image distributed decoding for decoding.
8K(7680x4320)/16K(15360x8640)급 360VR 및 파노라마 영상과 같은 초대용량 비디오를 스트리밍 서비스하기 위해서는, 1) 네트웍 대역폭 부족, 2) 다수 클라이언트를 위한 스트리밍 서버의 초대용량 데이터 처리 능력 부족, 3) 소비가전 디바이스의 재생 능력 부족, 이라는 세 가지 문제를 해결하는 기술이 필요하다.In order to provide streaming services of 8K (7680x4320)/16K (15360x8640) class 360VR and ultra-large video such as panoramic video, 1) insufficient network bandwidth, 2) insufficient data processing capacity of streaming server for multiple clients, 3) consumption There is a need for technology to solve the three problems of the lack of regenerative ability of home appliances.
이러한 세 가지 문제를 해결하기 위해, 초대용량 영상 데이터를 한번에 스트리밍하기보다는 영상을 미리 분할 영상(타일)로 분할하여 사용자가 현재 보고 있는 영역만을 적응적으로 스트리밍하는 방법인 타일 기반 스트리밍 서비스 기술이 개발되었으나, 사용자의 FOV(Field of View) 뷰 스위칭시 새로운 타일을 스트리밍 받아야하므로 약간의 지연(latency)이 발생하는 단점을 가지게 된다.To solve these three problems, a tile-based streaming service technology has been developed, which is a method of adaptively streaming only the area the user is currently viewing by dividing the video into split images (tiles) in advance, rather than streaming extra-large video data at once. However, when a user switches a field of view (FOV) view, a new tile needs to be streamed, so there is a disadvantage in that a little latency occurs.
이에, 타일 기반 스트리밍 서비스 기술을 적용하되, 사용자의 FOV 뷰 스위칭시 지연이 최소화되도록 하는 방안의 모색이 요구된다. Accordingly, it is required to find a way to minimize the delay when the user switches the FOV view while applying the tile-based streaming service technology.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, DASH 프로토콜로 분할된 8K급 HEVC tiled 분할 영상과 2K급 다중 영상을 실시간으로 디코딩함으로써, 타일 기반 스트리밍 서비스 제공시, 초고화질 영상을 제공하며, 사용자의 FOV 뷰 스위칭시 지연이 최소화 되도록 하는 분할영상 분산 디코딩 방법 및 시스템을 제공함에 있다.The present invention has been devised to solve the above problems, and an object of the present invention is to decode in real time an 8K-class HEVC tiled split image and a 2K-class multi-image divided by the DASH protocol, thereby providing a tile-based streaming service, It is to provide an ultra-high-definition image and to provide a method and system for split image distributed decoding that minimizes delay when a user switches a FOV view.
또한, 본 발명의 다른 목적은, 타일 기반 스트리밍 서비스 제공시, 상업적인 목적을 갖는 광고 또는 해당 영상과 관련된 추천영상이 함께 스트리밍되는 분할영상 분산 디코딩 방법 및 시스템을 제공함에 있다. Another object of the present invention is to provide a method and system for distributed decoding of split images in which, when providing a tile-based streaming service, an advertisement having a commercial purpose or a recommended image related to the corresponding image are streamed together.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 분할영상 분산 디코딩 방법은 비디오를 다운샘플링한 후 하나의 비디오 인코더로 인코딩하여 저해상도의 이미지 비트스트림을 생성하고, 비디오를 N1xM1개의 타일로 공간 분할한 후, 복수의 비디오 인코더로 인코딩하여 초고해상도의 이미지 비트스트림을 생성하며, 비디오를 N2xM2개의 타일로 공간 분할한 후, 복수의 비디오 인코더로 인코딩하여 고해상도의 이미지 비트스트림을 생성하는 단계; 저해상도의 이미지 비트스트림, 초고해상도의 이미지 비트스트림 및 고해상도의 이미지 비트스트림을 각각의 파싱 채널을 통해 파싱하여, 저해상도 이미지, 초고해상도 이미지 및 고해상도 이미지를 병렬적으로 생성하는 단계; 및 사용자의 관심영역이 초고해상도 또는 고해상도 이미지로 구성되고, 관심영역의 주변영역이 저해상도 이미지로 구성되는 제1 이미지를 생성하는 단계;를 포함한다. In accordance with an embodiment of the present invention for achieving the above object, a method for distributed decoding of divided images generates a low-resolution image bitstream by downsampling a video and encoding it with one video encoder, and spatially divides the video into N1xM1 tiles. After segmentation, encoding with a plurality of video encoders to generate an ultra-high resolution image bitstream, spatially segmenting the video into N2xM2 tiles, encoding the video encoder with a plurality of video encoders to generate a high-resolution image bitstream; parsing the low-resolution image bitstream, the ultra-high-resolution image bitstream, and the high-resolution image bitstream through each parsing channel to generate a low-resolution image, an ultra-high-resolution image, and a high-resolution image in parallel; and generating a first image in which the user's region of interest consists of an ultra-high-resolution or high-resolution image, and the peripheral region of the region of interest consists of a low-resolution image.
그리고 본 발명의 일 실시예에 따른, 분할영상 분산 디코딩 방법은 초고해상도 또는 고해상도 이미지 비트스트림이 생성된 이후, 하나 이상의 서브 미디어를 인코딩하여 서브 이미지 비트스트림을 생성하는 단계; 서브 이미지 비트스트림을 파싱하여, 서브 미디어가 재구성된 서브 이미지를 생성하는 단계; 및 제1 이미지에 서브 이미지를 부가하여 제2 이미지를 생성하는 단계;를 더 포함할 수 있다. And according to an embodiment of the present invention, the method for distributed decoding of divided images includes generating a sub-image bitstream by encoding one or more sub-media after an ultra-high-resolution or high-resolution image bitstream is generated; parsing the sub-image bitstream to generate a sub-image in which the sub-media is reconstructed; and generating a second image by adding a sub-image to the first image.
또한, 서브 이미지는, 서브 미디어와 동일한 해상도의 이미지로 재구성되되, 서브 미디어 및 서브 이미지지는, 제1 이미지의 해상도가 1024X1024인 경우, 해상도가 1920X1080일 수 있다.In addition, the sub-image is reconstructed as an image of the same resolution as the sub-media, and the sub-media and the sub-image may have a resolution of 1920x1080 when the resolution of the first image is 1024X1024.
그리고 서브 이미지는, 상업적인 목적을 갖는 광고정보 또는 해당 영상과 관련된 추천영상에 대한 정보가 포함되며, 제1 이미지의 주변영역에 배치되도록 부가될 수 있다.In addition, the sub-image includes advertisement information having a commercial purpose or information on a recommended image related to the corresponding image, and may be added to be disposed in a peripheral area of the first image.
또한, 본 발명의 일 실시예에 따른, 분할영상 분산 디코딩 방법은 저해상도의 이미지 비트스트림, 초고해상도의 이미지 비트스트림 및 고해상도의 이미지 비트스트림을 파일로 저장하는 단계;를 더 포함하고, 이때, 파일로 저장하는 단계는, 초고해상도의 이미지 비트스트림의 파일정보에, HQ_tiles 태그가 부가되고, 고해상도의 이미지 비트스트림의 파일정보에, MQ_tiles 태그가 부가될 수 있다. In addition, the split image distributed decoding method according to an embodiment of the present invention further includes; storing a low-resolution image bitstream, an ultra-high-resolution image bitstream, and a high-resolution image bitstream as a file. In the step of storing as, the HQ_tiles tag may be added to the file information of the ultra-high-resolution image bitstream, and the MQ_tiles tag may be added to the file information of the high-resolution image bitstream.
그리고 비디오는, 타일 기반 MPEG 영상이며, 초고해상도 이미지는, 제1 이미지의 해상도가 1024X1024인 경우, 각 타일당 해상도가 512X512이고, 고해상도 이미지는, 제1 이미지의 해상도가 1024X1024인 경우, 각 타일당 해상도가 256X256일 수 있다.And the video is a tile-based MPEG video, and the ultra-high-resolution image has a resolution of 512X512 for each tile when the resolution of the first image is 1024X1024, and the high-resolution image is for each tile when the resolution of the first image is 1024X1024 The resolution may be 256X256.
또한, 제1 이미지를 생성하는 단계는, 사용자의 시점(View)에 따라 사용자의 관심영역을 설정하고, 설정된 관심영역 이외에 영역을 주변영역으로 설정할 수 있다.Also, in the generating of the first image, the user's ROI may be set according to the user's view, and a region other than the set ROI may be set as a peripheral region.
그리고 제1 이미지를 생성하는 단계는, 사용자의 관심영역이 설정되면, 설정된 관심영역으로부터 기설정된 범위 이내의 영역을 제1 주변영역으로 설정하고, 관심영역 및 제1 주변영역 이외에 영역을 제2 주변영역으로 설정하여, 관심영역이 초고해상도 이미지로 구성되면, 제1 주변영역이 고해상도 이미지로 구성되고, 제2 주변영역이 저해상도 이미지로 구성될 수 있다.In the step of generating the first image, when the user's ROI is set, a region within a preset range from the set ROI is set as the first peripheral region, and a region other than the ROI and the first peripheral region is set as the second peripheral region. When the region of interest is configured as a high-resolution image by setting the region, the first peripheral region may be configured as a high-resolution image, and the second peripheral region may be configured as a low-resolution image.
또한, 본 발명의 일 실시예에 따른, 분할영상 분산 디코딩 방법은 저해상도의 이미지 비트스트림, 초고해상도의 이미지 비트스트림 및 고해상도의 이미지 비트스트림 중 적어도 하나가 생성되면, 비디오에 대한 오디오를 분산 처리하지 않고 트랜스코딩하는 단계;를 더 포함할 수 있다. In addition, the split image distributed decoding method according to an embodiment of the present invention does not distribute audio for video when at least one of a low-resolution image bitstream, an ultra-high-resolution image bitstream, and a high-resolution image bitstream is generated. It may further include; transcoding without.
한편, 본 발명의 다른 실시예에 따른, 분할영상 분산 디코딩 시스템은, 비디오를 다운샘플링한 후 하나의 비디오 인코더로 인코딩하여 저해상도의 이미지 비트스트림을 생성하고, 비디오를 N1xM1개의 타일로 공간 분할한 후, 복수의 비디오 인코더로 인코딩하여 초고해상도의 이미지 비트스트림을 생성하며, 비디오를 N2xM2개의 타일로 공간 분할한 후, 복수의 비디오 인코더로 인코딩하여 고해상도의 이미지 비트스트림을 생성하는 트랜스코딩부; 및 저해상도의 이미지 비트스트림, 초고해상도의 이미지 비트스트림 및 고해상도의 이미지 비트스트림을 각각의 파싱 채널을 통해 파싱하여, 저해상도 이미지, 초고해상도 이미지 및 고해상도 이미지를 병렬적으로 생성하고, 사용자의 관심영역이 초고해상도 또는 고해상도 이미지로 구성되고, 관심영역의 주변영역이 저해상도 이미지로 구성되는 이미지를 생성하는 디코딩부;를 포함한다. On the other hand, in a split image distributed decoding system according to another embodiment of the present invention, after downsampling a video and encoding it with one video encoder, a low-resolution image bitstream is generated, and the video is spatially divided into N1xM1 tiles. , a transcoding unit for generating a high-resolution image bitstream by encoding with a plurality of video encoders, spatially dividing the video into N2xM2 tiles, and encoding the video with a plurality of video encoders to generate a high-resolution image bitstream; and parsing a low-resolution image bitstream, an ultra-high-resolution image bitstream, and a high-resolution image bitstream through each parsing channel to generate a low-resolution image, an ultra-high-resolution image and a high-resolution image in parallel, and a decoding unit for generating an image composed of an ultra-high-resolution or high-resolution image, and an image in which a peripheral region of the region of interest is composed of a low-resolution image.
한편, 본 발명의 다른 실시예에 따른, 분할영상 분산 디코딩 방법은, 분할영상 분산 디코딩 방법은 입력 동영상을 분석하여 비트스트림 레벨에서 시간 분할하는 단계; 시간 분할된 비디오를 다운샘플링한 후 하나의 비디오 인코더로 인코딩하여 저해상도의 이미지 비트스트림을 생성하고, 시간 분할된 비디오를 복수의 타일로 공간 분할한 후, 복수의 비디오 인코더로 인코딩하여 초고해상도 또는 고해상도의 이미지 비트스트림을 생성하고, 하나 이상의 서브 미디어를 인코딩하여 서브 이미지 비트스트림을 생성하는 단계; 저해상도의 이미지 비트스트림 및 초고해상도 또는 고해상도의 이미지 비트스트림을 각각의 파싱 채널을 통해 파싱하여, 저해상도 이미지 및 초고해상도 이미지 또는 고해상도 이미지, 그리고 서브 이미지 비트스트림을 파싱하여, 서브 미디어가 재구성된 서브 이미지를 병렬적으로 생성하는 단계; 및 사용자의 관심영역이 초고해상도 또는 고해상도 이미지로 구성되고, 관심영역의 주변영역이 저해상도 이미지로 구성되되, 주변영역에 서브 이미지가 부가된 이미지를 생성하는 단계;를 포함한다. On the other hand, in accordance with another embodiment of the present invention, a split image distributed decoding method, the split image distributed decoding method comprises the steps of analyzing an input video and time segmenting at a bitstream level; After downsampling the time-segmented video, it is encoded with one video encoder to generate a low-resolution image bitstream, and the time-segmented video is spatially segmented into multiple tiles, and then encoded with multiple video encoders to achieve ultra-high or high resolution. generating an image bitstream of , and encoding one or more sub-media to generate a sub-image bitstream; By parsing the low-resolution image bitstream and the ultra-high resolution or high-resolution image bitstream through each parsing channel, the low-resolution image and the ultra-high-resolution image or the high-resolution image, and the sub-image bitstream are parsed, and the sub-media is reconstructed. generating in parallel; and generating an image in which the user's region of interest consists of an ultra-high-resolution or high-resolution image, and the peripheral region of the region of interest consists of a low-resolution image, and a sub-image is added to the peripheral region.
한편, 본 발명의 다른 실시예에 따른, 분할영상 분산 디코딩 시스템은, 입력 동영상을 분석하여 비트스트림 레벨에서 시간 분할하고, 시간 분할된 비디오를 다운샘플링한 후 하나의 비디오 인코더로 인코딩하여 저해상도의 이미지 비트스트림을 생성하고, 시간 분할된 비디오를 복수의 타일로 공간 분할한 후, 복수의 비디오 인코더로 인코딩하여 초고해상도 또는 고해상도의 이미지 비트스트림을 생성하고, 하나 이상의 서브 미디어를 인코딩하여 서브 이미지 비트스트림을 생성하는 트랜스코딩부; 및 저해상도의 이미지 비트스트림 및 초고해상도 또는 고해상도의 이미지 비트스트림을 각각의 파싱 채널을 통해 파싱하여, 저해상도 이미지 및 초고해상도 이미지 또는 고해상도 이미지, 그리고 서브 이미지 비트스트림을 파싱하여, 서브 미디어가 재구성된 서브 이미지를 병렬적으로 생성하고, 사용자의 관심영역이 초고해상도 또는 고해상도 이미지로 구성되고, 관심영역의 주변영역이 저해상도 이미지로 구성되되, 주변영역에 서브 이미지가 부가된 이미지를 생성하는 디코딩부;를 포함한다.On the other hand, in the distributed image segmentation decoding system according to another embodiment of the present invention, the input video is analyzed and time segmented at the bitstream level, the time segmented video is downsampled, and then encoded with one video encoder to obtain a low-resolution image. After generating a bitstream, spatially segmenting the time-segmented video into a plurality of tiles, encoding with a plurality of video encoders to generate an image bitstream of ultra-high or high resolution, and encoding one or more sub-media to a sub-image bitstream a transcoding unit to generate And by parsing the low-resolution image bitstream and the ultra-high resolution or high-resolution image bitstream through each parsing channel, the low-resolution image and the ultra-high-resolution image or the high-resolution image, and the sub-image bitstream are parsed, so that the sub media is reconstructed A decoding unit that generates images in parallel, the user's region of interest is composed of a super-resolution or high-resolution image, and the peripheral region of the region of interest is composed of a low-resolution image, and a sub-image is added to the peripheral region; include
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 타일 기반 스트리밍 서비스 제공시, 초고화질 영상을 제공하며, 사용자의 FOV 뷰 스위칭시 지연이 최소화 되도록 할 수 있다. As described above, according to embodiments of the present invention, when a tile-based streaming service is provided, an ultra-high-definition image can be provided, and a delay can be minimized when a user switches an FOV view.
또한, 본 발명의 실시예들에 따르면, 상업적인 목적을 갖는 광고 또는 해당 영상과 관련된 추천영상을 함께 스트리밍하여, 유연한 서비스 제공이 가능할 수 있다. In addition, according to embodiments of the present invention, it is possible to provide a flexible service by streaming a commercial advertisement or a recommended image related to the corresponding image.
도 1은 본 발명의 일 실시예에 따른 타일 기반 스트리밍 서비스의 개념도,
도 2는 타일 기반 스트리밍 서비스를 통해 제공되는 화면이 예시된 도면,
도 3은 타일 기반 스트리밍을 위한 분할영상 분산 디코딩 시스템의 설명에 제공된 도면,
도 4는 타일 기반 스트리밍을 위한 디먹싱 모듈의 설명에 제공된 도면,
도 5는 타일 기반 스트리밍을 위한 디코딩 모듈의 설명에 제공된 도면, 그리고
도 6은 디코딩 모듈을 더욱 상세히 설명하기 위해 제동된 도면이다. 1 is a conceptual diagram of a tile-based streaming service according to an embodiment of the present invention;
2 is a diagram illustrating a screen provided through a tile-based streaming service;
3 is a diagram provided for the description of a split image distributed decoding system for tile-based streaming;
4 is a diagram provided in the description of a demuxing module for tile-based streaming;
5 is a diagram provided in the description of a decoding module for tile-based streaming, and
6 is a diagram that is broken to explain the decoding module in more detail.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.Hereinafter, the present invention will be described in more detail with reference to the drawings.
도 1은 본 발명의 일 실시예에 따른 타일 기반 스트리밍 서비스의 개념도이고, 도 2는 타일 기반 스트리밍 서비스를 통해 제공되는 화면이 예시된 도면이다. 1 is a conceptual diagram of a tile-based streaming service according to an embodiment of the present invention, and FIG. 2 is a diagram illustrating a screen provided through the tile-based streaming service.
본 발명의 일 실시예에 따른 타일 기반 스트리밍을 위한 분할영상 분산 디코딩 시스템(이하에서는 '분할영상 분산 디코딩 시스템'으로 총칭하기로 함)은, 타일 기반 스트리밍 서비스 제공시, 초고화질 영상을 제공하며, 사용자의 FOV 뷰 스위칭시 지연이 최소화 되도록 하기 위해, 멀티 인코딩, 멀티 디코딩 구조로 구현될 수 있다. Split image distributed decoding system for tile-based streaming (hereinafter, collectively referred to as 'split image distributed decoding system') according to an embodiment of the present invention provides an ultra-high-definition image when providing a tile-based streaming service, In order to minimize the delay when the user switches the FOV view, it may be implemented in a multi-encoding and multi-decoding structure.
즉, 입력 동영상을 분석하여 비트스트림 레벨에서 시간 분할하고, 시간 분할된 비디오를 다운샘플링한 후, 서로 다른 해상도의 이미지 비트스트림으로 멀티 인코딩하고, 서로 다른 해상도의 이미지 비트스트림을 기반으로 서로 다른 해상도의 이미지를 생성하는 멀티 디코딩 과정을 수행할 수 있다. That is, the input video is analyzed and time-segmented at the bitstream level, the time-segmented video is downsampled, and then multi-encoded into image bitstreams of different resolutions, and different resolutions based on image bitstreams of different resolutions. It is possible to perform a multi-decoding process to generate an image of
이를 위해, 분할영상 분산 디코딩 시스템은, 트랜스코딩부(100), 서버(200) 및 디코딩부(300)를 포함할 수 있다. To this end, the divided image distributed decoding system may include a
트랜스코딩부(100)는 입력 동영상을 분석하여 비트스트림 레벨에서 시간 분할하고, 시간 분할된 비디오를 다운샘플링한 후, 서로 다른 해상도의 이미지 비트스트림으로 멀티 인코딩하여 서버(200)에 전송할 수 있다.The
구체적으로, 트랜스코딩부(100)는 입력 동영상을 분석하여 비트스트림 레벨에서 영상의 시간 분할(Time division)을 수행할 수 있다. Specifically, the
이때, 시간 분할 간격은 1~N초로 설정이 가능하고, 영상에 따라 기본 값은 3~5초이며, 시간 분할은 비디오 Key frame (HEVC 및 H264/AVC의 IDR picture, MPEG-1/2/4의 Intra frame, AV1의 Key frame 등) 에서만 가능하기 때문에, 영상 내에서비디오 Key frame 위치에 따라 시간 분할 간격은 조금씩 변동될 수 있다. At this time, the time division interval can be set from 1 to N seconds, the default value is 3 to 5 seconds depending on the video, and the time division is for video key frame (IDR picture of HEVC and H264/AVC, MPEG-1/2/4 Intra frame of AV1, key frame of AV1, etc.), the time division interval may be slightly changed depending on the location of the video key frame in the image.
또한, 트랜스코딩부(100)는 저해상도의 이미지 비트스트림, 초고해상도의 이미지 비트스트림 및 고해상도의 이미지 비트스트림 중 적어도 하나가 생성되면, 비디오에 대한 오디오를 분산 처리하지 않고 단독으로 트랜스코딩할 수 있다. 이는, 오디오는 오디오코덱의 포맷 특성상 분산 처리가 거의 불가능하고, 트랜스코딩 연산 부하가 낮아서 마스터 단독으로 처리 가능하기 때문이다.In addition, when at least one of a low-resolution image bitstream, an ultra-high-resolution image bitstream, and a high-resolution image bitstream is generated, the
그리고, 트랜스코딩부(100)는 시간 분할된 비디오를 다운샘플링한 후 하나의 비디오 인코더로 인코딩하여 저해상도의 이미지 비트스트림을 생성할 수 있다. In addition, the
또한, 트랜스코딩부(100)는 시간 분할된 비디오를 복수의 타일로 공간 분할한 후, 복수의 비디오 인코더로 인코딩하여 초고해상도 및/또는 고해상도의 이미지 비트스트림을 생성할 수 있다. In addition, the
구체적으로, 트랜스코딩부(100)는 비디오를 N1xM1개의 타일로 공간 분할한 후, 복수의 비디오 인코더로 인코딩하여 초고해상도의 이미지 비트스트림을 생성하고, 비디오를 N2xM2개의 타일로 공간 분할한 후, 복수의 비디오 인코더로 인코딩하여 고해상도의 이미지 비트스트림을 생성할 수 있다. 이를 위해, 트랜스코딩부(100)는, 초고해상도의 이미지 타일 개수 + 고해상도의 이미지 타일 개수 + 서브 이미지 개수 + 1 개의 비디오 인코더가 필요하다. Specifically, the
이때, 입력 동영상인 비디오는, 타일 기반 MPEG 영상이며, 초고해상도 이미지는, 제1 이미지의 해상도가 1024X1024인 경우, 각 타일당 해상도가 512X512이고, 고해상도 이미지는, 제1 이미지의 해상도가 1024X1024인 경우, 각 타일당 해상도가 256X256일 수 있다.At this time, the video as the input video is a tile-based MPEG image, and the ultra-high-resolution image, when the resolution of the first image is 1024X1024, the resolution per tile is 512X512, and the high-resolution image, when the resolution of the first image is 1024X1024 , each tile may have a resolution of 256X256.
트랜스코딩부(100)는 저해상도의 이미지 비트스트림, 초고해상도의 이미지 비트스트림 및 고해상도의 이미지 비트스트림을 파일로 저장하고, 서버(200)에 전송할 수 있다. The
그리고 초고해상도의 이미지 비트스트림의 파일정보에, HQ_tiles 태그가 부가되고, 고해상도의 이미지 비트스트림의 파일정보에, MQ_tiles 태그가 부가되어, 서로 다른 해상도의 이미지 비트스트림을 식별할 수 있다. In addition, the HQ_tiles tag is added to the file information of the ultra-high resolution image bitstream, and the MQ_tiles tag is added to the file information of the high-resolution image bitstream, so that image bitstreams of different resolutions can be identified.
디코딩부(300)는 서버(200)로부터 서로 다른 해상도의 이미지 비트스트림에 대한 데이터를 수신하여 서로 다른 해상도의 이미지 비트스트림을 기반으로 서로 다른 해상도의 이미지를 생성하는 멀티 디코딩 과정을 수행할 수 있다.The
예를 들면, 트랜스코딩부(100)는 타일로 분할하여 트랜스코딩된 초고화질 또는 고화질 영상들과 원본 초고해상도 영상으로부터 다운샘플된 Full-HD급의 저해상도 전체 영상(low resolution full video)을 일반 영상으로 인코딩하여 서버(200)에 전송하고, 디코딩부(300)는, 4K급의 고화질 분할영상을 디코딩하고, 동시에 저해상도 전체 영상을 디코딩할 수 있다. For example, the
더불어, 분할영상 분산 디코딩 시스템은, 타일 기반 스트리밍 서비스 제공시, 상업적인 목적을 갖는 광고 또는 해당 영상과 관련된 추천영상이 함께 스트리밍되도록 할 수 있다. In addition, the split image distributed decoding system can stream together with a commercial purpose advertisement or a recommended image related to the corresponding image when the tile-based streaming service is provided.
이를 위해, 트랜스코딩부(100)는 초고해상도 또는 고해상도 이미지 비트스트림이 생성된 이후, 하나 이상의 서브 미디어를 인코딩하여 서브 이미지 비트스트림을 생성할 수 있으며, 디코딩부(300)는, 서브 이미지 비트스트림을 파싱하여, 서브 미디어가 재구성된 서브 이미지를 생성하고, 제1 이미지에 서브 이미지를 부가하여 제2 이미지를 생성할 수 있다. To this end, the
이때, 서브 미디어(멀티 뷰 미디어)의 재구성된 서브 이미지는, 도 2에 예시된 바와 같이 복수의 서브 이미지가 동시에 출력될 수 있으며, 서브 미디어와 동일한 해상도의 이미지로 재구성되되, 서브 미디어 및 서브 이미지는, 제1 이미지의 해상도가 1024X1024인 경우, 해상도가 1920X1080일 수 있다. In this case, the reconstructed sub-image of the sub-media (multi-view media) may be output as a plurality of sub-images at the same time as illustrated in FIG. 2, and is reconstructed as an image of the same resolution as the sub-media, the sub-media and the sub-image , when the resolution of the first image is 1024X1024, the resolution may be 1920X1080.
도 3은 타일 기반 스트리밍을 위한 분할영상 분산 디코딩 시스템의 설명에 제공된 도면이며, 도 4는 타일 기반 스트리밍을 위한 디먹싱 모듈(320)의 설명에 제공된 도면이고, 도 5 내지 도 6은 타일 기반 스트리밍을 위한 디코딩 모듈(330)의 설명에 제공된 도면이다. 3 is a diagram provided for the description of a split image distributed decoding system for tile-based streaming, FIG. 4 is a diagram provided for the description of the
본 발명의 일 실시예에 따른 디코딩부(300)는 저해상도의 이미지 비트스트림, 초고해상도의 이미지 비트스트림 및 고해상도의 이미지 비트스트림을 각각의 파싱 채널을 통해 파싱하여, 저해상도 이미지, 초고해상도 이미지 및 고해상도 이미지를 병렬적으로 생성하고, 사용자의 관심영역이 초고해상도 또는 고해상도 이미지로 구성되고, 관심영역의 주변영역이 저해상도 이미지로 구성되는 제1 이미지를 생성할 수 있다.The
또한, 디코딩부(300)는, 서브 이미지 비트스트림을 파싱하여, 서브 이미지를 생성하고, 제1 이미지에 서브 이미지를 부가하여 제2 이미지를 생성할 수 있다. 이때, 서브 이미지는, 제1 이미지의 주변영역에 부가되어, 제2 이미지가 생성되도록 할 수 있다. Also, the
다른 예를 들면, 디코딩부(300)는, 초고해상도의 이미지 타일 개수 + 고해상도의 이미지 타일 개수 + 서브 이미지 개수 + 1 개의 파싱 채널, 디먹싱 채널, 디코딩 채널이 마련되어, 저해상도 이미지, 초고해상도 이미지, 고해상도 이미지 및 서브 이미지가 모두 병렬적으로 생성되어, 사용자의 관심영역이 초고해상도 또는 고해상도 이미지로 구성되는 동시에 관심영역의 주변영역에 서브 이미지가 부가되어 제2 이미지가 생성될 수 있다. For another example, the
이를 위해, 디코딩부(300)는, 파싱 모듈(310), 디먹싱 모듈(320), 디코딩 모듈(330), 랜더러 모듈(340)을 포함할 수 있다. To this end, the
파싱 모듈(310)은, 해상도별(HQ, MQ, LQ) 파싱 채널이 마련되고, 서브 이미지 수만큼의 파싱 채널이 추가로 마련되어, 저해상도의 이미지 비트스트림, 초고해상도의 이미지 비트스트림, 고해상도의 이미지 비트스트림 및 서브 이미지 비트스트림을 병렬적으로 파싱하여 디먹싱 모듈(320)에 전달할 수 있다. The
다른 예를 들면, 파싱 모듈(310)은, 초고해상도의 이미지 타일 개수 + 고해상도의 이미지 타일 개수 + 서브 이미지 개수 + 1 개의 파싱 채널이 마련되어, 저해상도의 이미지 비트스트림, 초고해상도의 이미지 비트스트림, 고해상도의 이미지 비트스트림 및 서브 이미지 비트스트림을 병렬적으로 파싱하여 디먹싱 모듈(320)에 전달할 수 있다. As another example, the
이때, 각각의 이미지 비트스트림의 패킷은, 스트림의 타입이 초고해상도(HQ), 고해상도(MQ), 저해상도(LQ) 및 서브 이미지(SUB) 중 어느 타인인지 나타내는 Type, 초고해상도(HQ) 타일의 인텍스인 StreamIdx, 새그먼트의 인덱스인 SegIdx, 새그먼트의 수를 나타내는 SegNum, HEVC 스트림의 사이즈를 나타내는 Size, HEVC 스트림의 데이터가 저장되는 HEVC Stream 및 새그먼트 종료 플래그를 나타내는 EOS로 구성될 수 있다. At this time, the packet of each image bitstream is a Type indicating which other of the stream type is ultra high resolution (HQ), high resolution (MQ), low resolution (LQ), and sub image (SUB), the super high resolution (HQ) tile. StreamIdx, which is an index, SegIdx, which is an index of a segment, SegNum, which indicates the number of segments, Size, which indicates the size of an HEVC stream, HEVC Stream for storing HEVC stream data, and EOS indicating a segment end flag.
여기서, 스트림은, HQ 또는 MQ의 단위를 나타내며, LQ는 스트림 수가 1이며, 서브 이미지는 개수와 스트림 수가 동일하다. 또한, 새그먼트는 파서 버퍼에 담겨지는 단위를 나타내며, 하나의 새그먼트 안에 복수의 스트림이 포함될 수 있다. Here, the stream represents the unit of HQ or MQ, the LQ is the number of
디먹싱 모듈(320)은 해상도별(HQ, MQ, LQ) 디먹싱 채널이 마련되고, 서브 이미지 수만큼의 디먹싱 채널이 추가로 마련되어, 각각의 이미지 비트스트림을 디먹싱 하여 HEVC 스트림을 생성하고, 디코딩 모듈(330)에 전달할 수 있다.
다른 예들 들면, 디먹싱 모듈(320)은 파싱 채널의 수가 초고해상도의 이미지 타일 개수 + 고해상도의 이미지 타일 개수 + 서브 이미지 개수 + 1 개인 경우, 초고해상도의 이미지 타일 개수 + 고해상도의 이미지 타일 개수 + 서브 이미지 개수 + 1 개의 디먹싱 채널이 마련되어, 각각의 이미지 비트스트림을 디먹싱 하여 HEVC 스트림을 생성하고, 디코딩 모듈(330)에 전달할 수 있다. As another example, when the number of parsing channels is the number of super-resolution image tiles + the number of high-resolution image tiles + the number of sub-images + 1, the number of parsed channels is the number of super-high-resolution image tiles + the number of high-resolution image tiles + sub The number of images + 1 demuxing channel is provided, and an HEVC stream is generated by demuxing each image bitstream, and may be transmitted to the
여기서, HEVC 스트림은, 비디오 코덱인 HEVC(High-Efficiency Video Coding)을 지원하는 미디어 스트림을 의미한다. Here, the HEVC stream means a media stream supporting High-Efficiency Video Coding (HEVC), which is a video codec.
또한, 이때, 각각의 이미지 패킷은, 스트림의 타입이 초고해상도(HQ), 고해상도(MQ), 저해상도(LQ) 및 서브 이미지(SUB) 중 어느 타인인지 나타내는 Type, 초고해상도(HQ) 타일의 인텍스인 StreamIdx, 새그먼트의 인덱스인 SegIdx, 새그먼트의 수를 나타내는 SegNum, 현재 타임 스탬프를 나타내는 PTS, 스트림의 기간을 나타내는 Duration, 사용 중인 타입 스탬프의 Numerator 및 Denominator, HEVC 스트림의 데이터가 저장되는 HEVC Stream 및 HEVC 스트림의 크기를 나타내는 Stream Size로 구성될 수 있다. In addition, at this time, each image packet is a type indicating which other of the stream type is ultra high resolution (HQ), high resolution (MQ), low resolution (LQ), and sub image (SUB), and the index of the super high resolution (HQ) tile. StreamIdx, segment index SegIdx, SegNum indicating the number of segments, PTS indicating the current timestamp, Duration indicating the duration of the stream, Numerator and Denominator of the type stamp being used, HEVC Stream where the data of the HEVC stream is stored and Stream Size indicating the size of the HEVC stream.
디코딩 모듈(330)은 저해상도 이미지, 초고해상도 이미지, 고해상도 이미지 및 서브 이미지를 병렬적으로 생성할 수 있다. The
구체적으로, 디코딩 모듈(330)은, 파싱 채널 및 디먹싱 채널의 수가 초고해상도의 이미지 타일 개수 + 고해상도의 이미지 타일 개수 + 서브 이미지 개수 + 1 개인 경우, 초고해상도의 이미지 타일 개수 + 고해상도의 이미지 타일 개수 + 서브 이미지 개수 + 1 개의 디코딩 채널이 마련되어, 저해상도 이미지, 초고해상도 이미지, 고해상도 이미지 및 서브 이미지를 병렬적으로 생성할 수 있다. Specifically, when the number of parsing channels and demuxing channels is the number of super-high-resolution image tiles + the number of high-resolution image tiles + the number of sub-images + 1, the number of super-resolution image tiles + high-resolution image tiles The number + the number of sub-images + one decoding channel are provided so that a low-resolution image, an ultra-high-resolution image, a high-resolution image, and a sub-image can be generated in parallel.
랜더러 모듈(340)은 사용자의 관심영역이 초고해상도 또는 고해상도 이미지로 구성되고, 관심영역의 주변영역이 저해상도 이미지로 구성되는 제1 이미지를 생성할 수 있다. The
구체적으로 랜더러 모듈(340)은, 사용자의 시점(View)에 따라 사용자의 관심영역을 설정하고, 설정된 관심영역 이외에 영역을 주변영역으로 설정하여, 제1 이미지를 생성할 수 있다. Specifically, the
다른 예를 들면, 랜더러 모듈(340)은, 사용자의 관심영역이 설정되면, 설정된 관심영역으로부터 기설정된 범위 이내의 영역을 제1 주변영역으로 설정하고, 관심영역 및 제1 주변영역 이외에 영역을 제2 주변영역으로 설정하여, 관심영역이 초고해상도 이미지로 구성되면, 제1 주변영역이 고해상도 이미지로 구성되고, 제2 주변영역이 저해상도 이미지로 구성되는 제1 이미지를 생성할 수 있다. For another example, when the user's ROI is set, the
그리고 랜더러 모듈(340)은, 제1 이미지가 생성되면, 제1 이미지에 서브 이미지를 부가하여 제2 이미지를 생성할 수 있다. In addition, when the first image is generated, the
이를 통해, 타일 기반 스트리밍 서비스 제공시, 초고화질 영상을 제공하며, 사용자의 FOV 뷰 스위칭시 지연이 최소화 되도록 할 수 있으며, 상업적인 목적을 갖는 광고 또는 해당 영상과 관련된 추천영상을 함께 스트리밍하여, 유연한 서비스의 제공이 가능하도록 할 수 있다.Through this, when a tile-based streaming service is provided, ultra-high-definition video is provided, delay can be minimized when a user switches FOV view, and a commercial purpose advertisement or recommended video related to the video is streamed together to provide a flexible service. may make it possible to provide
한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.On the other hand, it goes without saying that the technical idea of the present invention can also be applied to a computer-readable recording medium containing a computer program for performing the functions of the apparatus and method according to the present embodiment. In addition, the technical ideas according to various embodiments of the present invention may be implemented in the form of computer-readable codes recorded on a computer-readable recording medium. The computer-readable recording medium may be any data storage device readable by the computer and capable of storing data. For example, the computer-readable recording medium may be a ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical disk, hard disk drive, or the like. In addition, the computer-readable code or program stored in the computer-readable recording medium may be transmitted through a network connected between computers.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.In addition, although preferred embodiments of the present invention have been illustrated and described above, the present invention is not limited to the specific embodiments described above, and the technical field to which the present invention belongs without departing from the gist of the present invention as claimed in the claims In addition, various modifications may be made by those of ordinary skill in the art, and these modifications should not be individually understood from the technical spirit or perspective of the present invention.
100 : 트랜스코딩부
200 : 서버
300 : 디코딩부
310 : 파싱 모듈
320 : 디먹싱 모듈
330 : 디코딩 모듈
340 : 렌더러 모듈100: transcoding unit
200 : server
300: decoding unit
310: parsing module
320: demuxing module
330: decoding module
340 : renderer module
Claims (12)
저해상도의 이미지 비트스트림, 초고해상도의 이미지 비트스트림 및 고해상도의 이미지 비트스트림을 각각의 파싱 채널을 통해 파싱하여, 저해상도 이미지, 초고해상도 이미지 및 고해상도 이미지를 병렬적으로 생성하는 단계; 및
사용자의 관심영역이 초고해상도 또는 고해상도 이미지로 구성되고, 관심영역의 주변영역이 저해상도 이미지로 구성되는 제1 이미지를 생성하는 단계;를 포함하며,
분할영상 분산 디코딩 방법은,
초고해상도 또는 고해상도 이미지 비트스트림이 생성된 이후, 하나 이상의 서브 미디어를 인코딩하여 서브 이미지 비트스트림을 생성하는 단계;
서브 이미지 비트스트림을 파싱하여, 서브 미디어가 재구성된 서브 이미지를 생성하는 단계; 및
제1 이미지에 서브 이미지를 부가하여 제2 이미지를 생성하는 단계;를 더 포함하고,
서브 이미지는,
서브 미디어와 동일한 해상도의 이미지로 재구성되되,
서브 미디어 및 서브 이미지는,
제1 이미지의 해상도가 1024X1024인 경우, 해상도가 1920X1080이며,
서브 이미지는,
상업적인 목적을 갖는 광고정보 또는 해당 영상과 관련된 추천영상에 대한 정보가 포함되며,
제1 이미지의 주변영역에 배치되도록 부가되고,
분할영상 분산 디코딩 방법은,
저해상도의 이미지 비트스트림, 초고해상도의 이미지 비트스트림 및 고해상도의 이미지 비트스트림을 파일로 저장하는 단계;를 더 포함하고,
파일로 저장하는 단계는,
초고해상도의 이미지 비트스트림의 파일정보에, HQ_tiles 태그가 부가되고,
고해상도의 이미지 비트스트림의 파일정보에, MQ_tiles 태그가 부가되고,
제1 이미지를 생성하는 단계는,
사용자의 시점(View)에 따라 사용자의 관심영역을 설정하고, 설정된 관심영역 이외에 영역을 주변영역으로 설정하며,
제1 이미지를 생성하는 단계는,
사용자의 관심영역이 설정되면, 설정된 관심영역으로부터 기설정된 범위 이내의 영역을 제1 주변영역으로 설정하고, 관심영역 및 제1 주변영역 이외에 영역을 제2 주변영역으로 설정하여, 관심영역이 초고해상도 이미지로 구성되면, 제1 주변영역이 고해상도 이미지로 구성되고, 제2 주변영역이 저해상도 이미지로 구성되고,
분할영상 분산 디코딩 방법은,
저해상도의 이미지 비트스트림, 초고해상도의 이미지 비트스트림 및 고해상도의 이미지 비트스트림 중 적어도 하나가 생성되면, 비디오에 대한 오디오를 분산 처리하지 않고 트랜스코딩하는 단계;를 더 포함하며,
병렬적으로 생성하는 단계는,
사용자의 관심영역이 초고해상도 또는 고해상도 이미지로 구성되는 동시에 관심영역의 주변영역에 서브 이미지가 부가되어 제2 이미지가 생성되도록, 초고해상도의 이미지 타일 개수 + 고해상도의 이미지 타일 개수 + 서브 이미지 개수 + 1 개의 파싱 채널, 디먹싱 채널 및 디코딩 채널이 마련되어, 저해상도 이미지, 초고해상도 이미지, 고해상도 이미지 및 서브 이미지가 각각 병렬적으로 생성되는 것을 특징으로 하는 분할영상 분산 디코딩 방법.
After downsampling the video, encoding it with one video encoder to generate a low-resolution image bitstream, spatially partitioning the video into N1xM1 tiles, and encoding it with multiple video encoders to generate an ultra-high-resolution image bitstream, After spatially segmenting the video into N2xM2 tiles, encoding the video encoder with a plurality of video encoders to generate a high-resolution image bitstream;
parsing the low-resolution image bitstream, the ultra-high-resolution image bitstream, and the high-resolution image bitstream through each parsing channel to generate a low-resolution image, an ultra-high-resolution image, and a high-resolution image in parallel; and
Including; generating a first image in which the user's region of interest is composed of a super-resolution or high-resolution image, and the peripheral region of the region of interest is composed of a low-resolution image;
Split image distributed decoding method,
After the ultra-high-resolution or high-resolution image bitstream is generated, encoding one or more sub-media to generate a sub-image bitstream;
parsing the sub-image bitstream to generate a sub-image in which the sub-media is reconstructed; and
Adding a sub-image to the first image to generate a second image; further comprising,
sub image,
It is reconstructed as an image of the same resolution as the sub media,
Sub media and sub images are
If the resolution of the first image is 1024X1024, the resolution is 1920X1080,
sub image,
It includes advertisement information for commercial purposes or information on recommended images related to the image,
It is added to be disposed in the peripheral area of the first image,
Split image distributed decoding method,
Storing the low-resolution image bitstream, the ultra-high-resolution image bitstream, and the high-resolution image bitstream as a file; further comprising,
The steps to save to a file are:
HQ_tiles tag is added to the file information of the super-resolution image bitstream,
MQ_tiles tag is added to the file information of the high-resolution image bitstream,
Creating the first image comprises:
Set the user's area of interest according to the user's view, and set the area other than the set area of interest as the surrounding area,
Creating the first image comprises:
When the user's ROI is set, a region within a preset range from the set ROI is set as the first peripheral region, and a region other than the ROI and the first peripheral region is set as the second peripheral region, so that the region of interest is super-resolution When composed of an image, the first peripheral region is composed of a high-resolution image, and the second peripheral region is composed of a low-resolution image,
Split image distributed decoding method,
When at least one of a low-resolution image bitstream, an ultra-high-resolution image bitstream, and a high-resolution image bitstream is generated, transcoding the audio for the video without distributed processing; further comprising,
The steps to create in parallel are:
The number of super-resolution image tiles + the number of high-resolution image tiles + the number of sub-images + 1 so that the user's ROI is composed of a super-resolution or high-resolution image and a sub-image is added to the peripheral region of the ROI to generate a second image. Parsing channels, demuxing channels, and decoding channels are provided, and a low-resolution image, an ultra-high-resolution image, a high-resolution image, and a sub-image are respectively generated in parallel.
비디오는,
타일 기반 MPEG 영상이며,
초고해상도 이미지는,
제1 이미지의 해상도가 1024X1024인 경우, 각 타일당 해상도가 512X512이고,
고해상도 이미지는,
제1 이미지의 해상도가 1024X1024인 경우, 각 타일당 해상도가 256X256인 것을 특징으로 하는 분할영상 분산 디코딩 방법.
The method according to claim 1,
the video,
It is a tile-based MPEG video,
Super high-resolution images,
If the resolution of the first image is 1024X1024, the resolution for each tile is 512X512,
high resolution images,
When the resolution of the first image is 1024X1024, the divided image distributed decoding method, characterized in that the resolution of each tile is 256X256.
저해상도의 이미지 비트스트림, 초고해상도의 이미지 비트스트림 및 고해상도의 이미지 비트스트림을 각각의 파싱 채널을 통해 파싱하여, 저해상도 이미지, 초고해상도 이미지 및 고해상도 이미지를 병렬적으로 생성하고, 사용자의 관심영역이 초고해상도 또는 고해상도 이미지로 구성되고, 관심영역의 주변영역이 저해상도 이미지로 구성되는 이미지를 생성하는 디코딩부;를 포함하며,
트랜스코딩부는,
초고해상도 또는 고해상도 이미지 비트스트림이 생성된 이후, 하나 이상의 서브 미디어를 인코딩하여 서브 이미지 비트스트림을 생성하고,
디코딩부는,
서브 이미지 비트스트림을 파싱하여, 서브 미디어가 재구성된 서브 이미지를 생성하고, 제1 이미지에 서브 이미지를 부가하여 제2 이미지를 생성하며,
서브 이미지는,
서브 미디어와 동일한 해상도의 이미지로 재구성되되,
서브 미디어 및 서브 이미지는,
제1 이미지의 해상도가 1024X1024인 경우, 해상도가 1920X1080이며,
서브 이미지는,
상업적인 목적을 갖는 광고정보 또는 해당 영상과 관련된 추천영상에 대한 정보가 포함되며,
제1 이미지의 주변영역에 배치되도록 부가되고,
트랜스코딩부는,
저해상도의 이미지 비트스트림, 초고해상도의 이미지 비트스트림 및 고해상도의 이미지 비트스트림을 파일로 저장하며,
파일 저장 시, 초고해상도의 이미지 비트스트림의 파일정보에, HQ_tiles 태그가 부가되고, 고해상도의 이미지 비트스트림의 파일정보에, MQ_tiles 태그가 부가되고,
디코딩부는,
사용자의 시점(View)에 따라 사용자의 관심영역을 설정하고, 설정된 관심영역 이외에 영역을 주변영역으로 설정하며,
디코딩부는,
사용자의 관심영역이 설정되면, 설정된 관심영역으로부터 기설정된 범위 이내의 영역을 제1 주변영역으로 설정하고, 관심영역 및 제1 주변영역 이외에 영역을 제2 주변영역으로 설정하여, 관심영역이 초고해상도 이미지로 구성되면, 제1 주변영역이 고해상도 이미지로 구성되고, 제2 주변영역이 저해상도 이미지로 구성되고,
트랜스코딩부는,
저해상도의 이미지 비트스트림, 초고해상도의 이미지 비트스트림 및 고해상도의 이미지 비트스트림 중 적어도 하나가 생성되면, 비디오에 대한 오디오를 분산 처리하지 않고 트랜스코딩하며,
디코딩부는,
사용자의 관심영역이 초고해상도 또는 고해상도 이미지로 구성되는 동시에 관심영역의 주변영역에 서브 이미지가 부가되어 제2 이미지가 생성되도록, 초고해상도의 이미지 타일 개수 + 고해상도의 이미지 타일 개수 + 서브 이미지 개수 + 1 개의 파싱 채널, 디먹싱 채널 및 디코딩 채널이 마련되어, 저해상도 이미지, 초고해상도 이미지, 고해상도 이미지 및 서브 이미지가 각각 병렬적으로 생성되는 것을 특징으로 하는 분할영상 분산 디코딩 시스템.
After downsampling the video, encoding it with one video encoder to generate a low-resolution image bitstream, spatially partitioning the video into N1xM1 tiles, and encoding it with multiple video encoders to generate an ultra-high-resolution image bitstream, a transcoding unit that spatially divides the video into N2xM2 tiles and encodes it with a plurality of video encoders to generate a high-resolution image bitstream; and
Parsing a low-resolution image bitstream, an ultra-high-resolution image bitstream, and a high-resolution image bitstream through each parsing channel to generate a low-resolution image, an ultra-high-resolution image and a high-resolution image in parallel, Consists of a high-resolution or high-resolution image, and a decoding unit that generates an image in which the peripheral region of the region of interest is composed of a low-resolution image;
transcoding unit,
After the super-resolution or high-resolution image bitstream is generated, one or more sub-media is encoded to generate a sub-image bitstream,
decoding unit,
Parsing the sub-image bitstream to generate a sub-image in which the sub-media is reconstructed, and adding the sub-image to the first image to generate a second image,
sub image,
It is reconstructed as an image of the same resolution as the sub media,
Sub media and sub images are
If the resolution of the first image is 1024X1024, the resolution is 1920X1080,
sub image,
It includes advertisement information for commercial purposes or information on recommended images related to the image,
It is added to be disposed in the peripheral area of the first image,
transcoding unit,
Saves a low-resolution image bitstream, an ultra-high-resolution image bitstream, and a high-resolution image bitstream as a file,
When saving a file, HQ_tiles tag is added to the file information of the ultra-high-resolution image bitstream, and the MQ_tiles tag is added to the file information of the high-resolution image bitstream,
decoding unit,
Set the user's area of interest according to the user's view, and set the area other than the set area of interest as the surrounding area,
decoding unit,
When the user's ROI is set, a region within a preset range from the set ROI is set as the first peripheral region, and a region other than the ROI and the first peripheral region is set as the second peripheral region, so that the region of interest is super-resolution When composed of an image, the first peripheral region is composed of a high-resolution image, and the second peripheral region is composed of a low-resolution image,
transcoding unit,
When at least one of a low-resolution image bitstream, an ultra-high-resolution image bitstream, and a high-resolution image bitstream is generated, the audio for the video is transcoded without distributed processing,
decoding unit,
The number of super-resolution image tiles + the number of high-resolution image tiles + the number of sub-images + 1 so that the user's ROI is composed of a super-resolution or high-resolution image and a sub-image is added to the peripheral region of the ROI to generate a second image. Split image distributed decoding system, characterized in that the parsing channel, the demuxing channel, and the decoding channel are provided, and a low-resolution image, an ultra-high-resolution image, a high-resolution image, and a sub-image are respectively generated in parallel.
시간 분할된 비디오를 다운샘플링한 후 하나의 비디오 인코더로 인코딩하여 저해상도의 이미지 비트스트림을 생성하고, 시간 분할된 비디오를 복수의 타일로 공간 분할한 후, 복수의 비디오 인코더로 인코딩하여 초고해상도 또는 고해상도의 이미지 비트스트림을 생성하고, 하나 이상의 서브 미디어를 인코딩하여 서브 이미지 비트스트림을 생성하는 단계;
저해상도의 이미지 비트스트림 및 초고해상도 또는 고해상도의 이미지 비트스트림을 각각의 파싱 채널을 통해 파싱하여, 저해상도 이미지 및 초고해상도 이미지 또는 고해상도 이미지, 그리고 서브 이미지 비트스트림을 파싱하여, 서브 미디어가 재구성된 서브 이미지를 병렬적으로 생성하는 단계; 및
사용자의 관심영역이 초고해상도 또는 고해상도 이미지로 구성되고, 관심영역의 주변영역이 저해상도 이미지로 구성되되, 주변영역에 서브 이미지가 부가된 이미지를 생성하는 단계;를 포함하며,
분할영상 분산 디코딩 방법은,
초고해상도 또는 고해상도 이미지 비트스트림이 생성된 이후, 하나 이상의 서브 미디어를 인코딩하여 서브 이미지 비트스트림을 생성하는 단계;
서브 이미지 비트스트림을 파싱하여, 서브 미디어가 재구성된 서브 이미지를 생성하는 단계; 및
제1 이미지에 서브 이미지를 부가하여 제2 이미지를 생성하는 단계;를 더 포함하고,
서브 이미지는,
서브 미디어와 동일한 해상도의 이미지로 재구성되되,
서브 미디어 및 서브 이미지는,
제1 이미지의 해상도가 1024X1024인 경우, 해상도가 1920X1080이며,
서브 이미지는,
상업적인 목적을 갖는 광고정보 또는 해당 영상과 관련된 추천영상에 대한 정보가 포함되며,
제1 이미지의 주변영역에 배치되도록 부가되고,
분할영상 분산 디코딩 방법은,
저해상도의 이미지 비트스트림, 초고해상도의 이미지 비트스트림 및 고해상도의 이미지 비트스트림을 파일로 저장하는 단계;를 더 포함하고,
파일로 저장하는 단계는,
초고해상도의 이미지 비트스트림의 파일정보에, HQ_tiles 태그가 부가되고,
고해상도의 이미지 비트스트림의 파일정보에, MQ_tiles 태그가 부가되고,
제1 이미지를 생성하는 단계는,
사용자의 시점(View)에 따라 사용자의 관심영역을 설정하고, 설정된 관심영역 이외에 영역을 주변영역으로 설정하며,
제1 이미지를 생성하는 단계는,
사용자의 관심영역이 설정되면, 설정된 관심영역으로부터 기설정된 범위 이내의 영역을 제1 주변영역으로 설정하고, 관심영역 및 제1 주변영역 이외에 영역을 제2 주변영역으로 설정하여, 관심영역이 초고해상도 이미지로 구성되면, 제1 주변영역이 고해상도 이미지로 구성되고, 제2 주변영역이 저해상도 이미지로 구성되고,
분할영상 분산 디코딩 방법은,
저해상도의 이미지 비트스트림, 초고해상도의 이미지 비트스트림 및 고해상도의 이미지 비트스트림 중 적어도 하나가 생성되면, 비디오에 대한 오디오를 분산 처리하지 않고 트랜스코딩하는 단계;를 더 포함하며,
병렬적으로 생성하는 단계는,
사용자의 관심영역이 초고해상도 또는 고해상도 이미지로 구성되는 동시에 관심영역의 주변영역에 서브 이미지가 부가되어 제2 이미지가 생성되도록, 초고해상도의 이미지 타일 개수 + 고해상도의 이미지 타일 개수 + 서브 이미지 개수 + 1 개의 파싱 채널, 디먹싱 채널 및 디코딩 채널이 마련되어, 저해상도 이미지, 초고해상도 이미지, 고해상도 이미지 및 서브 이미지가 각각 병렬적으로 생성되는 것을 특징으로 하는 분할영상 분산 디코딩 방법.
Analyzing the input video and time-segmenting it at the bitstream level;
After downsampling the time-segmented video, it is encoded with one video encoder to generate a low-resolution image bitstream, and the time-segmented video is spatially segmented into multiple tiles, and then encoded with multiple video encoders to achieve ultra-high or high resolution. generating an image bitstream of , and encoding one or more sub-media to generate a sub-image bitstream;
By parsing the low-resolution image bitstream and the ultra-high resolution or high-resolution image bitstream through each parsing channel, the low-resolution image and the ultra-high-resolution image or the high-resolution image, and the sub-image bitstream are parsed, and the sub-media is reconstructed. generating in parallel; and
Creating an image in which the user's region of interest is composed of a super-resolution or high-resolution image, and the peripheral region of the region of interest is composed of a low-resolution image, and a sub-image is added to the peripheral region;
Split image distributed decoding method,
After the ultra-high-resolution or high-resolution image bitstream is generated, encoding one or more sub-media to generate a sub-image bitstream;
parsing the sub-image bitstream to generate a sub-image in which the sub-media is reconstructed; and
Adding a sub-image to the first image to generate a second image; further comprising,
sub image,
It is reconstructed as an image of the same resolution as the sub media,
Sub media and sub images are
If the resolution of the first image is 1024X1024, the resolution is 1920X1080,
sub image,
It includes advertisement information for commercial purposes or information on recommended images related to the image,
It is added to be disposed in the peripheral area of the first image,
Split image distributed decoding method,
Storing the low-resolution image bitstream, the ultra-high-resolution image bitstream, and the high-resolution image bitstream as a file; further comprising,
The steps to save to a file are:
HQ_tiles tag is added to the file information of the super-resolution image bitstream,
MQ_tiles tag is added to the file information of the high-resolution image bitstream,
Creating the first image comprises:
Set the user's area of interest according to the user's view, and set the area other than the set area of interest as the surrounding area,
Creating the first image comprises:
When the user's ROI is set, a region within a preset range from the set ROI is set as the first peripheral region, and a region other than the ROI and the first peripheral region is set as the second peripheral region, so that the region of interest is super-resolution When composed of an image, the first peripheral region is composed of a high-resolution image, and the second peripheral region is composed of a low-resolution image,
Split image distributed decoding method,
When at least one of a low-resolution image bitstream, an ultra-high-resolution image bitstream, and a high-resolution image bitstream is generated, transcoding the audio for the video without distributed processing; further comprising,
The steps to create in parallel are:
The number of super-resolution image tiles + the number of high-resolution image tiles + the number of sub-images + 1 so that the user's ROI is composed of a super-resolution or high-resolution image and a sub-image is added to the peripheral region of the ROI to generate a second image. Parsing channels, demuxing channels, and decoding channels are provided, and a low-resolution image, an ultra-high-resolution image, a high-resolution image, and a sub-image are respectively generated in parallel.
저해상도의 이미지 비트스트림 및 초고해상도 또는 고해상도의 이미지 비트스트림을 각각의 파싱 채널을 통해 파싱하여, 저해상도 이미지 및 초고해상도 이미지 또는 고해상도 이미지, 그리고 서브 이미지 비트스트림을 파싱하여, 서브 미디어가 재구성된 서브 이미지를 병렬적으로 생성하고, 사용자의 관심영역이 초고해상도 또는 고해상도 이미지로 구성되고, 관심영역의 주변영역이 저해상도 이미지로 구성되되, 주변영역에 서브 이미지가 부가된 이미지를 생성하는 디코딩부;를 포함하며,
트랜스코딩부는,
초고해상도 또는 고해상도 이미지 비트스트림이 생성된 이후, 하나 이상의 서브 미디어를 인코딩하여 서브 이미지 비트스트림을 생성하고,
디코딩부는,
서브 이미지 비트스트림을 파싱하여, 서브 미디어가 재구성된 서브 이미지를 생성하고, 제1 이미지에 서브 이미지를 부가하여 제2 이미지를 생성하며,
서브 이미지는,
서브 미디어와 동일한 해상도의 이미지로 재구성되되,
서브 미디어 및 서브 이미지는,
제1 이미지의 해상도가 1024X1024인 경우, 해상도가 1920X1080이며,
서브 이미지는,
상업적인 목적을 갖는 광고정보 또는 해당 영상과 관련된 추천영상에 대한 정보가 포함되며,
제1 이미지의 주변영역에 배치되도록 부가되고,
트랜스코딩부는,
저해상도의 이미지 비트스트림, 초고해상도의 이미지 비트스트림 및 고해상도의 이미지 비트스트림을 파일로 저장하며,
파일 저장 시, 초고해상도의 이미지 비트스트림의 파일정보에, HQ_tiles 태그가 부가되고, 고해상도의 이미지 비트스트림의 파일정보에, MQ_tiles 태그가 부가되고,
디코딩부는,
사용자의 시점(View)에 따라 사용자의 관심영역을 설정하고, 설정된 관심영역 이외에 영역을 주변영역으로 설정하며,
디코딩부는,
사용자의 관심영역이 설정되면, 설정된 관심영역으로부터 기설정된 범위 이내의 영역을 제1 주변영역으로 설정하고, 관심영역 및 제1 주변영역 이외에 영역을 제2 주변영역으로 설정하여, 관심영역이 초고해상도 이미지로 구성되면, 제1 주변영역이 고해상도 이미지로 구성되고, 제2 주변영역이 저해상도 이미지로 구성되고,
트랜스코딩부는,
저해상도의 이미지 비트스트림, 초고해상도의 이미지 비트스트림 및 고해상도의 이미지 비트스트림 중 적어도 하나가 생성되면, 비디오에 대한 오디오를 분산 처리하지 않고 트랜스코딩하며,
디코딩부는,
사용자의 관심영역이 초고해상도 또는 고해상도 이미지로 구성되는 동시에 관심영역의 주변영역에 서브 이미지가 부가되어 제2 이미지가 생성되도록, 초고해상도의 이미지 타일 개수 + 고해상도의 이미지 타일 개수 + 서브 이미지 개수 + 1 개의 파싱 채널, 디먹싱 채널 및 디코딩 채널이 마련되어, 저해상도 이미지, 초고해상도 이미지, 고해상도 이미지 및 서브 이미지가 각각 병렬적으로 생성되는 것을 특징으로 하는 분할영상 분산 디코딩 시스템.
The input video is analyzed and time-segmented at the bitstream level, the time-segmented video is downsampled and encoded with one video encoder to generate a low-resolution image bitstream, and the time-sliced video is spatially segmented into multiple tiles. Then, a transcoding unit that encodes a plurality of video encoders to generate a super-resolution or high-resolution image bitstream, and encodes one or more sub-media to generate a sub-image bitstream; and
By parsing the low-resolution image bitstream and the ultra-high resolution or high-resolution image bitstream through each parsing channel, the low-resolution image and the ultra-high-resolution image or the high-resolution image, and the sub-image bitstream are parsed, and the sub-media is reconstructed. a decoding unit that generates an image in parallel, the user's region of interest consists of a super-resolution or high-resolution image, and the peripheral region of the region of interest consists of a low-resolution image, and a sub-image is added to the peripheral region; includes; and
transcoding unit,
After the super-resolution or high-resolution image bitstream is generated, one or more sub-media is encoded to generate a sub-image bitstream,
decoding unit,
Parsing the sub-image bitstream to generate a sub-image in which the sub-media is reconstructed, and adding the sub-image to the first image to generate a second image,
sub image,
It is reconstructed as an image of the same resolution as the sub media,
Sub media and sub images are
If the resolution of the first image is 1024X1024, the resolution is 1920X1080,
sub image,
It includes advertisement information for commercial purposes or information on recommended images related to the image,
It is added to be disposed in the peripheral area of the first image,
transcoding unit,
Saves a low-resolution image bitstream, an ultra-high-resolution image bitstream, and a high-resolution image bitstream as a file,
When saving a file, HQ_tiles tag is added to the file information of the ultra-high-resolution image bitstream, and the MQ_tiles tag is added to the file information of the high-resolution image bitstream,
decoding unit,
Set the user's area of interest according to the user's view, and set the area other than the set area of interest as the surrounding area,
decoding unit,
When the user's ROI is set, a region within a preset range from the set ROI is set as the first peripheral region, and a region other than the ROI and the first peripheral region is set as the second peripheral region, so that the region of interest is super-resolution When composed of an image, the first peripheral region is composed of a high-resolution image, and the second peripheral region is composed of a low-resolution image,
transcoding unit,
When at least one of a low-resolution image bitstream, an ultra-high-resolution image bitstream, and a high-resolution image bitstream is generated, the audio for the video is transcoded without distributed processing,
decoding unit,
The number of super-resolution image tiles + the number of high-resolution image tiles + the number of sub-images + 1 so that the user's ROI is composed of a super-resolution or high-resolution image and a sub-image is added to the peripheral region of the ROI to generate a second image. Split image distributed decoding system, characterized in that the parsing channel, the demuxing channel, and the decoding channel are provided, and a low-resolution image, an ultra-high-resolution image, a high-resolution image, and a sub-image are respectively generated in parallel.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190031046A KR102317938B1 (en) | 2019-03-19 | 2019-03-19 | Division video distributed decoding method and system for tiled streaming |
| PCT/KR2019/003179 WO2020189817A1 (en) | 2019-03-19 | 2019-03-19 | Method and system for distributed decoding of split image for tile-based streaming |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190031046A KR102317938B1 (en) | 2019-03-19 | 2019-03-19 | Division video distributed decoding method and system for tiled streaming |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200111410A KR20200111410A (en) | 2020-09-29 |
| KR102317938B1 true KR102317938B1 (en) | 2021-10-27 |
Family
ID=72520935
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190031046A KR102317938B1 (en) | 2019-03-19 | 2019-03-19 | Division video distributed decoding method and system for tiled streaming |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR102317938B1 (en) |
| WO (1) | WO2020189817A1 (en) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102499900B1 (en) * | 2020-11-18 | 2023-02-15 | 주식회사 엘지유플러스 | Image processing device and image playing device for high resolution image streaming and operaing method of thereof |
| CN112954398B (en) * | 2021-02-07 | 2023-03-24 | 杭州网易智企科技有限公司 | Encoding method, decoding method, device, storage medium and electronic equipment |
| CN113453086A (en) * | 2021-03-29 | 2021-09-28 | 北京国际云转播科技有限公司 | Multi-machine-position synchronous cloud broadcasting guiding method, system, storage medium and video encoder |
| EP4329311A1 (en) * | 2021-04-22 | 2024-02-28 | LG Electronics Inc. | Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method |
| KR102516831B1 (en) * | 2021-04-26 | 2023-03-31 | 네이버 주식회사 | Method, computer device, and computer program for providing high-definition image of region of interest using single stream |
| US11694655B2 (en) | 2021-05-20 | 2023-07-04 | Tcl China Star Optoelectronics Technology Co., Ltd. | Video play system, video play device, and video play method |
| CN113344781B (en) * | 2021-05-20 | 2023-12-05 | Tcl华星光电技术有限公司 | Video playing system, component and method |
| KR102603220B1 (en) * | 2021-12-01 | 2023-11-16 | 주식회사 엘지유플러스 | The method and apparatus for playing tile based multiview video |
| WO2023128491A1 (en) * | 2021-12-30 | 2023-07-06 | 주식회사 카이 | Operation method for system for transmitting multi-channel image, and system for performing same |
| CN116634177B (en) * | 2023-06-16 | 2024-02-20 | 北京行者无疆科技有限公司 | Video communication decoding processing method based on HDMI communication equipment |
| KR102641876B1 (en) * | 2023-06-27 | 2024-02-29 | 주식회사 인텔리빅스 | Apparatus and Method for Simultaneous Playback of Interest Video |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012010117A (en) * | 2010-06-25 | 2012-01-12 | Kddi Corp | Video output device, program and method for determining region of additional information to be superimposed on video contents |
| JP2018067966A (en) * | 2014-11-26 | 2018-04-26 | ソニー株式会社 | Live selective adaptive bandwidth |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015102462A1 (en) * | 2014-01-06 | 2015-07-09 | 에스케이텔레콤 주식회사 | Single bit stream generating method and generating device for multiple images |
| KR102313485B1 (en) * | 2015-04-22 | 2021-10-15 | 삼성전자주식회사 | Method and apparatus for transmitting and receiving image data for virtual reality streaming service |
| US11163358B2 (en) * | 2016-03-17 | 2021-11-02 | Sony Interactive Entertainment Inc. | Spectating virtual (VR) environments associated with VR user interactivity |
| KR101915037B1 (en) * | 2016-07-01 | 2018-11-06 | 에스케이 텔레콤주식회사 | Method and Apparatus for Generating Video Bit Stream for Streaming High Resolution Video |
| KR102524987B1 (en) * | 2016-07-29 | 2023-04-21 | 에스케이텔레콤 주식회사 | Method and Apparatus for Providing and Storing Streaming Contents |
| US10313763B2 (en) * | 2016-07-29 | 2019-06-04 | Mediatek, Inc. | Method and apparatus for requesting and receiving selected segment streams based on projection information |
-
2019
- 2019-03-19 KR KR1020190031046A patent/KR102317938B1/en active IP Right Grant
- 2019-03-19 WO PCT/KR2019/003179 patent/WO2020189817A1/en active Application Filing
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012010117A (en) * | 2010-06-25 | 2012-01-12 | Kddi Corp | Video output device, program and method for determining region of additional information to be superimposed on video contents |
| JP2018067966A (en) * | 2014-11-26 | 2018-04-26 | ソニー株式会社 | Live selective adaptive bandwidth |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20200111410A (en) | 2020-09-29 |
| WO2020189817A1 (en) | 2020-09-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102317938B1 (en) | Division video distributed decoding method and system for tiled streaming | |
| EP1374593B1 (en) | Adaptive bandwidth system and method for video transmission | |
| US6871006B1 (en) | Processing of MPEG encoded video for trick mode operation | |
| CN113498606A (en) | Apparatus, method and computer program for video encoding and decoding | |
| US10623754B2 (en) | Information processing device and method | |
| WO2009073077A1 (en) | An extension to the avc standard to support the encoding and storage of high resolution digital still pictures in parallel with video | |
| JP2022521992A (en) | Methods, equipment and computer programs for video coding | |
| TWI826969B (en) | Encoder and decoder, encoding method and decoding method with profile and level dependent coding options | |
| KR20230128584A (en) | Bitstream merging | |
| CN114127800A (en) | Method for cross-layer alignment in coded video stream | |
| Aksay et al. | End-to-end stereoscopic video streaming with content-adaptive rate and format control | |
| JP5734699B2 (en) | Super-resolution device for distribution video | |
| CN112118443B (en) | Video decoding method, system, computer device and storage medium | |
| CN112118454B (en) | Video decoding method, apparatus and computer-readable storage medium | |
| CN114514742A (en) | Method for signaling virtual boundaries using sub-pictures in an encoded video stream | |
| CN113966615A (en) | Derivation method based on sublayer output layer set | |
| CN113994664A (en) | Picture output method with output layer set | |
| KR102312668B1 (en) | Video transcoding system | |
| CN112118453B (en) | Video decoding method and apparatus, computer apparatus, and storage medium | |
| US11356683B2 (en) | Creating different video stream representations | |
| JP6577426B2 (en) | Transcoding system, transcoding method, computer-readable recording medium, decoding device, and encoding device | |
| TWI850736B (en) | Video coding concept for handling of motion-vectors in streaming scenarios | |
| Patel et al. | Image segmentation approach for realizing zoomable streaming HEVC video | |
| Saxena et al. | Analysis of implementation strategies for video communication on some parameters | |
| WO2023021362A1 (en) | Video coding concept for handling of motion-vectors in streaming scenarios |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |