KR20200111410A - Division video distributed decoding method and system for tiled streaming - Google Patents
Division video distributed decoding method and system for tiled streaming Download PDFInfo
- Publication number
- KR20200111410A KR20200111410A KR1020190031046A KR20190031046A KR20200111410A KR 20200111410 A KR20200111410 A KR 20200111410A KR 1020190031046 A KR1020190031046 A KR 1020190031046A KR 20190031046 A KR20190031046 A KR 20190031046A KR 20200111410 A KR20200111410 A KR 20200111410A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- resolution
- video
- bitstream
- ultra
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000002093 peripheral effect Effects 0.000 claims description 36
- 238000010586 diagram Methods 0.000 description 11
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/167—Position within a video image, e.g. region of interest [ROI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
- H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Discrete Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
본 발명은 분할영상 분산 디코딩 방법 및 시스템에 관한 것으로, 더욱 상세하게는 타일 기반 스트리밍을 위하여, DASH 프로토콜로 분할된 8K급 HEVC(High-Efficiency Video Coding) tiled 분할 영상과 2K급 다중 영상을 실시간으로 디코딩하는 분할영상 분산 디코딩 방법 및 시스템에 관한 것이다.The present invention relates to a split image distributed decoding method and system, and more particularly, for tile-based streaming, an 8K-class high-efficiency video coding (HEVC) tiled split video and a 2K-class multi-video divided by the DASH protocol in real time. The present invention relates to a method and system for distributed decoding of a split image for decoding.
8K(7680x4320)/16K(15360x8640)급 360VR 및 파노라마 영상과 같은 초대용량 비디오를 스트리밍 서비스하기 위해서는, 1) 네트웍 대역폭 부족, 2) 다수 클라이언트를 위한 스트리밍 서버의 초대용량 데이터 처리 능력 부족, 3) 소비가전 디바이스의 재생 능력 부족, 이라는 세 가지 문제를 해결하는 기술이 필요하다.In order to stream ultra-large video such as 8K(7680x4320)/16K(15360x8640) class 360VR and panoramic video, 1) lack of network bandwidth, 2) lack of extra-large data processing capability of streaming server for multiple clients, 3) consumption There is a need for technology to solve the three problems of the lack of reproducibility of consumer electronics devices.
이러한 세 가지 문제를 해결하기 위해, 초대용량 영상 데이터를 한번에 스트리밍하기보다는 영상을 미리 분할 영상(타일)로 분할하여 사용자가 현재 보고 있는 영역만을 적응적으로 스트리밍하는 방법인 타일 기반 스트리밍 서비스 기술이 개발되었으나, 사용자의 FOV(Field of View) 뷰 스위칭시 새로운 타일을 스트리밍 받아야하므로 약간의 지연(latency)이 발생하는 단점을 가지게 된다.To solve these three problems, a tile-based streaming service technology, which is a method of adaptively streaming only the area currently viewed by the user, has been developed by dividing the image into divided images (tiles) in advance rather than streaming the super-capacity image data at once. However, when the user switches the field of view (FOV) view, a new tile must be streamed, so there is a disadvantage that a little latency occurs.
이에, 타일 기반 스트리밍 서비스 기술을 적용하되, 사용자의 FOV 뷰 스위칭시 지연이 최소화되도록 하는 방안의 모색이 요구된다. Accordingly, there is a need for a method of applying a tile-based streaming service technology, but minimizing the delay when switching the user's FOV view.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, DASH 프로토콜로 분할된 8K급 HEVC tiled 분할 영상과 2K급 다중 영상을 실시간으로 디코딩함으로써, 타일 기반 스트리밍 서비스 제공시, 초고화질 영상을 제공하며, 사용자의 FOV 뷰 스위칭시 지연이 최소화 되도록 하는 분할영상 분산 디코딩 방법 및 시스템을 제공함에 있다.The present invention was conceived to solve the above problems, and an object of the present invention is to decode in real time an 8K-class HEVC tiled divided image and a 2K-class multi-video divided by the DASH protocol, when providing a tile-based streaming service, To provide an ultra-high-definition image and to provide a split image distributed decoding method and system that minimizes delay when switching the user's FOV view.
또한, 본 발명의 다른 목적은, 타일 기반 스트리밍 서비스 제공시, 상업적인 목적을 갖는 광고 또는 해당 영상과 관련된 추천영상이 함께 스트리밍되는 분할영상 분산 디코딩 방법 및 시스템을 제공함에 있다. In addition, another object of the present invention is to provide a method and system for distributed decoding of split images in which advertisements for commercial purposes or recommended images related to the corresponding images are streamed together when providing a tile-based streaming service.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 분할영상 분산 디코딩 방법은 비디오를 다운샘플링한 후 하나의 비디오 인코더로 인코딩하여 저해상도의 이미지 비트스트림을 생성하고, 비디오를 N1xM1개의 타일로 공간 분할한 후, 복수의 비디오 인코더로 인코딩하여 초고해상도의 이미지 비트스트림을 생성하며, 비디오를 N2xM2개의 타일로 공간 분할한 후, 복수의 비디오 인코더로 인코딩하여 고해상도의 이미지 비트스트림을 생성하는 단계; 저해상도의 이미지 비트스트림, 초고해상도의 이미지 비트스트림 및 고해상도의 이미지 비트스트림을 각각의 파싱 채널을 통해 파싱하여, 저해상도 이미지, 초고해상도 이미지 및 고해상도 이미지를 병렬적으로 생성하는 단계; 및 사용자의 관심영역이 초고해상도 또는 고해상도 이미지로 구성되고, 관심영역의 주변영역이 저해상도 이미지로 구성되는 제1 이미지를 생성하는 단계;를 포함한다. The split image distributed decoding method according to an embodiment of the present invention for achieving the above object downsamples the video and then encodes it with one video encoder to generate a low-resolution image bitstream, and spatially converts the video into N1xM1 tiles. After segmentation, encoding with a plurality of video encoders to generate an image bitstream of ultra-high resolution, spatially segmenting the video into N2xM2 tiles, and encoding the video with a plurality of video encoders to generate a high-resolution image bitstream; Parsing a low-resolution image bitstream, an ultra-high-resolution image bitstream, and a high-resolution image bitstream through respective parsing channels to generate a low-resolution image, an ultra-high-resolution image, and a high-resolution image in parallel; And generating a first image in which the user's region of interest is composed of an ultra-high resolution or high-resolution image, and a peripheral region of the region of interest is composed of a low-resolution image.
그리고 본 발명의 일 실시예에 따른, 분할영상 분산 디코딩 방법은 초고해상도 또는 고해상도 이미지 비트스트림이 생성된 이후, 하나 이상의 서브 미디어를 인코딩하여 서브 이미지 비트스트림을 생성하는 단계; 서브 이미지 비트스트림을 파싱하여, 서브 미디어가 재구성된 서브 이미지를 생성하는 단계; 및 제1 이미지에 서브 이미지를 부가하여 제2 이미지를 생성하는 단계;를 더 포함할 수 있다. In addition, a split image distributed decoding method according to an embodiment of the present invention includes generating a sub image bit stream by encoding one or more sub media after generating an ultra high resolution or high resolution image bit stream; Parsing the sub-image bitstream to generate a sub-image reconstructed from the sub-media; And generating a second image by adding a sub image to the first image.
또한, 서브 이미지는, 서브 미디어와 동일한 해상도의 이미지로 재구성되되, 서브 미디어 및 서브 이미지지는, 제1 이미지의 해상도가 1024X1024인 경우, 해상도가 1920X1080일 수 있다.Further, the sub-image may be reconstructed as an image having the same resolution as the sub-media, but the sub-media and the sub-image may have a resolution of 1920X1080 when the resolution of the first image is 1024X1024.
그리고 서브 이미지는, 상업적인 목적을 갖는 광고정보 또는 해당 영상과 관련된 추천영상에 대한 정보가 포함되며, 제1 이미지의 주변영역에 배치되도록 부가될 수 있다.In addition, the sub-image includes advertisement information having a commercial purpose or information on a recommended image related to the corresponding image, and may be added to be disposed in a peripheral area of the first image.
또한, 본 발명의 일 실시예에 따른, 분할영상 분산 디코딩 방법은 저해상도의 이미지 비트스트림, 초고해상도의 이미지 비트스트림 및 고해상도의 이미지 비트스트림을 파일로 저장하는 단계;를 더 포함하고, 이때, 파일로 저장하는 단계는, 초고해상도의 이미지 비트스트림의 파일정보에, HQ_tiles 태그가 부가되고, 고해상도의 이미지 비트스트림의 파일정보에, MQ_tiles 태그가 부가될 수 있다. In addition, the split image distributed decoding method according to an embodiment of the present invention further includes storing an image bitstream of a low resolution, an image bitstream of an ultra high resolution, and an image bitstream of high resolution as a file, wherein the file In the step of storing as, the HQ_tiles tag may be added to the file information of the image bitstream of the ultra high resolution, and the MQ_tiles tag may be added to the file information of the image bitstream of the high resolution.
그리고 비디오는, 타일 기반 MPEG 영상이며, 초고해상도 이미지는, 제1 이미지의 해상도가 1024X1024인 경우, 각 타일당 해상도가 512X512이고, 고해상도 이미지는, 제1 이미지의 해상도가 1024X1024인 경우, 각 타일당 해상도가 256X256일 수 있다.In addition, the video is a tile-based MPEG video, and in the case of the ultra-high resolution image, when the resolution of the first image is 1024X1024, the resolution per tile is 512X512, and in the high-resolution image, when the resolution of the first image is 1024X1024, each tile The resolution can be 256X256.
또한, 제1 이미지를 생성하는 단계는, 사용자의 시점(View)에 따라 사용자의 관심영역을 설정하고, 설정된 관심영역 이외에 영역을 주변영역으로 설정할 수 있다.In addition, in the step of generating the first image, the user's region of interest may be set according to the user's viewpoint, and an area other than the set region of interest may be set as a peripheral region.
그리고 제1 이미지를 생성하는 단계는, 사용자의 관심영역이 설정되면, 설정된 관심영역으로부터 기설정된 범위 이내의 영역을 제1 주변영역으로 설정하고, 관심영역 및 제1 주변영역 이외에 영역을 제2 주변영역으로 설정하여, 관심영역이 초고해상도 이미지로 구성되면, 제1 주변영역이 고해상도 이미지로 구성되고, 제2 주변영역이 저해상도 이미지로 구성될 수 있다.In the step of generating the first image, when the user's region of interest is set, an area within a preset range from the set region of interest is set as the first peripheral region, and the region other than the region of interest and the first peripheral region is set to the second peripheral region. When the region of interest is set as a region and the region of interest is composed of an ultra-high-resolution image, the first peripheral region may be composed of a high-resolution image, and the second peripheral region may be composed of a low-resolution image.
또한, 본 발명의 일 실시예에 따른, 분할영상 분산 디코딩 방법은 저해상도의 이미지 비트스트림, 초고해상도의 이미지 비트스트림 및 고해상도의 이미지 비트스트림 중 적어도 하나가 생성되면, 비디오에 대한 오디오를 분산 처리하지 않고 트랜스코딩하는 단계;를 더 포함할 수 있다. In addition, in the split image distributed decoding method according to an embodiment of the present invention, when at least one of a low-resolution image bitstream, an ultra-high-resolution image bitstream, and a high-resolution image bitstream is generated, the audio for the video is not distributed. Transcoding without; may further include.
한편, 본 발명의 다른 실시예에 따른, 분할영상 분산 디코딩 시스템은, 비디오를 다운샘플링한 후 하나의 비디오 인코더로 인코딩하여 저해상도의 이미지 비트스트림을 생성하고, 비디오를 N1xM1개의 타일로 공간 분할한 후, 복수의 비디오 인코더로 인코딩하여 초고해상도의 이미지 비트스트림을 생성하며, 비디오를 N2xM2개의 타일로 공간 분할한 후, 복수의 비디오 인코더로 인코딩하여 고해상도의 이미지 비트스트림을 생성하는 트랜스코딩부; 및 저해상도의 이미지 비트스트림, 초고해상도의 이미지 비트스트림 및 고해상도의 이미지 비트스트림을 각각의 파싱 채널을 통해 파싱하여, 저해상도 이미지, 초고해상도 이미지 및 고해상도 이미지를 병렬적으로 생성하고, 사용자의 관심영역이 초고해상도 또는 고해상도 이미지로 구성되고, 관심영역의 주변영역이 저해상도 이미지로 구성되는 이미지를 생성하는 디코딩부;를 포함한다. Meanwhile, in the split image distributed decoding system according to another embodiment of the present invention, after downsampling the video, encoding it with one video encoder to generate a low-resolution image bitstream, and spatially dividing the video into N1xM1 tiles. And a transcoding unit encoding a plurality of video encoders to generate an image bitstream of ultra-high resolution, spatially dividing the video into N2xM2 tiles, and encoding the video with a plurality of video encoders to generate a high-resolution image bitstream; And a low-resolution image bitstream, an ultra-high-resolution image bitstream, and a high-resolution image bitstream are parsed through respective parsing channels to generate a low-resolution image, an ultra-high-resolution image, and a high-resolution image in parallel, and the user's region of interest is It includes; a decoding unit that is composed of an ultra-high resolution or high-resolution image, and generates an image in which a peripheral region of the ROI is composed of a low-resolution image.
한편, 본 발명의 다른 실시예에 따른, 분할영상 분산 디코딩 방법은, 분할영상 분산 디코딩 방법은 입력 동영상을 분석하여 비트스트림 레벨에서 시간 분할하는 단계; 시간 분할된 비디오를 다운샘플링한 후 하나의 비디오 인코더로 인코딩하여 저해상도의 이미지 비트스트림을 생성하고, 시간 분할된 비디오를 복수의 타일로 공간 분할한 후, 복수의 비디오 인코더로 인코딩하여 초고해상도 또는 고해상도의 이미지 비트스트림을 생성하고, 하나 이상의 서브 미디어를 인코딩하여 서브 이미지 비트스트림을 생성하는 단계; 저해상도의 이미지 비트스트림 및 초고해상도 또는 고해상도의 이미지 비트스트림을 각각의 파싱 채널을 통해 파싱하여, 저해상도 이미지 및 초고해상도 이미지 또는 고해상도 이미지, 그리고 서브 이미지 비트스트림을 파싱하여, 서브 미디어가 재구성된 서브 이미지를 병렬적으로 생성하는 생성하는 단계; 및 사용자의 관심영역이 초고해상도 또는 고해상도 이미지로 구성되고, 관심영역의 주변영역이 저해상도 이미지로 구성되되, 주변영역에 서브 이미지가 부가된 이미지를 생성하는 단계;를 포함한다. On the other hand, according to another embodiment of the present invention, a split image distributed decoding method includes the steps of analyzing an input video and temporal dividing at a bitstream level; After downsampling the time-divided video, it is encoded with one video encoder to generate a low-resolution image bitstream, and the time-divided video is spatially divided into a plurality of tiles, and then encoded with a plurality of video encoders to achieve ultra-high resolution or high resolution. Generating an image bitstream of and encoding one or more sub media to generate a sub image bitstream; Sub-images reconstructed by parsing low-resolution image bitstreams and ultra-high-resolution or high-resolution image bitstreams through respective parsing channels, parsing low-resolution images, ultra-high-resolution images or high-resolution images, and sub-image bitstreams Generating generating in parallel; And generating an image in which the user's region of interest is composed of an ultra-high resolution or high-resolution image, and the peripheral region of the region of interest is composed of a low-resolution image, and a sub-image is added to the peripheral region.
한편, 본 발명의 다른 실시예에 따른, 분할영상 분산 디코딩 시스템은, 입력 동영상을 분석하여 비트스트림 레벨에서 시간 분할하고, 시간 분할된 비디오를 다운샘플링한 후 하나의 비디오 인코더로 인코딩하여 저해상도의 이미지 비트스트림을 생성하고, 시간 분할된 비디오를 복수의 타일로 공간 분할한 후, 복수의 비디오 인코더로 인코딩하여 초고해상도 또는 고해상도의 이미지 비트스트림을 생성하고, 하나 이상의 서브 미디어를 인코딩하여 서브 이미지 비트스트림을 생성하는 트랜스코딩부; 및 저해상도의 이미지 비트스트림 및 초고해상도 또는 고해상도의 이미지 비트스트림을 각각의 파싱 채널을 통해 파싱하여, 저해상도 이미지 및 초고해상도 이미지 또는 고해상도 이미지, 그리고 서브 이미지 비트스트림을 파싱하여, 서브 미디어가 재구성된 서브 이미지를 병렬적으로 생성하는 생성하고, 사용자의 관심영역이 초고해상도 또는 고해상도 이미지로 구성되고, 관심영역의 주변영역이 저해상도 이미지로 구성되되, 주변영역에 서브 이미지가 부가된 이미지를 생성하는 디코딩부;를 포함한다.On the other hand, the split image distributed decoding system according to another embodiment of the present invention analyzes an input video, time-divisions at a bitstream level, downsamples the time-divided video, and encodes the video with one video encoder to provide a low-resolution image. A bitstream is generated, the time-divided video is spatially divided into a plurality of tiles, and then encoded with a plurality of video encoders to generate an image bitstream of ultra high resolution or high resolution, and a sub image bitstream by encoding one or more sub media A transcoding unit that generates And a low-resolution image bitstream and an ultra-high-resolution or high-resolution image bitstream through respective parsing channels to parse a low-resolution image, an ultra-high-resolution image, or a high-resolution image, and a sub-image bitstream, thereby reconstructing the sub media. A decoding unit that generates and generates images in parallel, the user's region of interest is composed of a super-high resolution or high-resolution image, and the peripheral region of the region of interest is composed of a low-resolution image, and a sub-image is added to the peripheral region. Includes;
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 타일 기반 스트리밍 서비스 제공시, 초고화질 영상을 제공하며, 사용자의 FOV 뷰 스위칭시 지연이 최소화 되도록 할 수 있다. As described above, according to embodiments of the present invention, when providing a tile-based streaming service, an ultra-high-definition image is provided, and a delay may be minimized when a user switches the FOV view.
또한, 본 발명의 실시예들에 따르면, 상업적인 목적을 갖는 광고 또는 해당 영상과 관련된 추천영상을 함께 스트리밍하여, 유연한 서비스 제공이 가능할 수 있다. In addition, according to embodiments of the present invention, it is possible to provide a flexible service by streaming an advertisement for a commercial purpose or a recommended video related to the video together.
도 1은 본 발명의 일 실시예에 따른 타일 기반 스트리밍 서비스의 개념도,
도 2는 타일 기반 스트리밍 서비스를 통해 제공되는 화면이 예시된 도면,
도 3은 타일 기반 스트리밍을 위한 분할영상 분산 디코딩 시스템의 설명에 제공된 도면,
도 4는 타일 기반 스트리밍을 위한 디먹싱 모듈의 설명에 제공된 도면,
도 5는 타일 기반 스트리밍을 위한 디코딩 모듈의 설명에 제공된 도면, 그리고
도 6은 디코딩 모듈을 더욱 상세히 설명하기 위해 제동된 도면이다. 1 is a conceptual diagram of a tile-based streaming service according to an embodiment of the present invention;
2 is a diagram illustrating a screen provided through a tile-based streaming service;
3 is a diagram provided to explain a split image distributed decoding system for tile-based streaming;
4 is a diagram provided to explain a demuxing module for tile-based streaming;
5 is a diagram provided in the description of a decoding module for tile-based streaming, and
6 is a braked diagram to describe the decoding module in more detail.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.Hereinafter, the present invention will be described in more detail with reference to the drawings.
도 1은 본 발명의 일 실시예에 따른 타일 기반 스트리밍 서비스의 개념도이고, 도 2는 타일 기반 스트리밍 서비스를 통해 제공되는 화면이 예시된 도면이다. 1 is a conceptual diagram of a tile-based streaming service according to an embodiment of the present invention, and FIG. 2 is a diagram illustrating a screen provided through a tile-based streaming service.
본 발명의 일 실시예에 따른 타일 기반 스트리밍을 위한 분할영상 분산 디코딩 시스템(이하에서는 '분할영상 분산 디코딩 시스템'으로 총칭하기로 함)은, 타일 기반 스트리밍 서비스 제공시, 초고화질 영상을 제공하며, 사용자의 FOV 뷰 스위칭시 지연이 최소화 되도록 하기 위해, 멀티 인코딩, 멀티 디코딩 구조로 구현될 수 있다. A split image distributed decoding system for tile-based streaming according to an embodiment of the present invention (hereinafter, collectively referred to as a'split image distributed decoding system') provides an ultra-high definition image when providing a tile-based streaming service, In order to minimize the delay when switching the user's FOV view, it may be implemented in a multi-encoding and multi-decoding structure.
즉, 입력 동영상을 분석하여 비트스트림 레벨에서 시간 분할하고, 시간 분할된 비디오를 다운샘플링한 후, 서로 다른 해상도의 이미지 비트스트림으로 멀티 인코딩하고, 서로 다른 해상도의 이미지 비트스트림을 기반으로 서로 다른 해상도의 이미지를 생성하는 멀티 디코딩 과정을 수행할 수 있다. In other words, after analyzing the input video and time-segmenting it at the bitstream level, downsampling the time-divided video, multi-encode it into image bitstreams of different resolutions, and perform different resolutions based on image bitstreams of different resolutions. It is possible to perform a multi-decoding process that generates an image of.
이를 위해, 분할영상 분산 디코딩 시스템은, 트랜스코딩부(100), 서버(200) 및 디코딩부(300)를 포함할 수 있다. To this end, the split image distribution decoding system may include a
트랜스코딩부(100)는 입력 동영상을 분석하여 비트스트림 레벨에서 시간 분할하고, 시간 분할된 비디오를 다운샘플링한 후, 서로 다른 해상도의 이미지 비트스트림으로 멀티 인코딩하여 서버(200)에 전송할 수 있다.The
구체적으로, 트랜스코딩부(100)는 입력 동영상을 분석하여 비트스트림 레벨에서 영상의 시간 분할(Time division)을 수행할 수 있다. Specifically, the
이때, 시간 분할 간격은 1~N초로 설정이 가능하고, 영상에 따라 기본 값은 3~5초이며, 시간 분할은 비디오 Key frame (HEVC 및 H264/AVC의 IDR picture, MPEG-1/2/4의 Intra frame, AV1의 Key frame 등) 에서만 가능하기 때문에, 영상 내에서비디오 Key frame 위치에 따라 시간 분할 간격은 조금씩 변동될 수 있다. At this time, the time division interval can be set from 1 to N seconds, and the default value is 3 to 5 seconds depending on the video, and the time division is video key frame (IDR picture of HEVC and H264/AVC, MPEG-1/2/4 Since it is possible only in the Intra frame of (intra frame, Key frame of AV1, etc.), the time division interval may change little by little depending on the position of the video key frame in the video.
또한, 트랜스코딩부(100)는 저해상도의 이미지 비트스트림, 초고해상도의 이미지 비트스트림 및 고해상도의 이미지 비트스트림 중 적어도 하나가 생성되면, 비디오에 대한 오디오를 분산 처리하지 않고 단독으로 트랜스코딩할 수 있다. 이는, 오디오는 오디오코덱의 포맷 특성상 분산 처리가 거의 불가능하고, 트랜스코딩 연산 부하가 낮아서 마스터 단독으로 처리 가능하기 때문이다.In addition, when at least one of a low-resolution image bitstream, an ultra-high-resolution image bitstream, and a high-resolution image bitstream is generated, the
그리고, 트랜스코딩부(100)는 시간 분할된 비디오를 다운샘플링한 후 하나의 비디오 인코더로 인코딩하여 저해상도의 이미지 비트스트림을 생성할 수 있다. In addition, the
또한, 트랜스코딩부(100)는 시간 분할된 비디오를 복수의 타일로 공간 분할한 후, 복수의 비디오 인코더로 인코딩하여 초고해상도 및/또는 고해상도의 이미지 비트스트림을 생성할 수 있다. In addition, the
구체적으로, 트랜스코딩부(100)는 비디오를 N1xM1개의 타일로 공간 분할한 후, 복수의 비디오 인코더로 인코딩하여 초고해상도의 이미지 비트스트림을 생성하고, 비디오를 N2xM2개의 타일로 공간 분할한 후, 복수의 비디오 인코더로 인코딩하여 고해상도의 이미지 비트스트림을 생성할 수 있다. 이를 위해, 트랜스코딩부(100)는, 초고해상도의 이미지 타일 개수 + 고해상도의 이미지 타일 개수 + 서브 이미지 개수 + 1 개의 비디오 인코더가 필요하다. Specifically, the
이때, 입력 동영상인 비디오는, 타일 기반 MPEG 영상이며, 초고해상도 이미지는, 제1 이미지의 해상도가 1024X1024인 경우, 각 타일당 해상도가 512X512이고, 고해상도 이미지는, 제1 이미지의 해상도가 1024X1024인 경우, 각 타일당 해상도가 256X256일 수 있다.At this time, the video that is the input video is a tile-based MPEG video, and for the ultra-high resolution image, when the resolution of the first image is 1024X1024, the resolution per tile is 512X512, and for the high-resolution image, when the resolution of the first image is 1024X1024 , The resolution per tile may be 256X256.
트랜스코딩부(100)는 저해상도의 이미지 비트스트림, 초고해상도의 이미지 비트스트림 및 고해상도의 이미지 비트스트림을 파일로 저장하고, 서버(200)에 전송할 수 있다. The
그리고 초고해상도의 이미지 비트스트림의 파일정보에, HQ_tiles 태그가 부가되고, 고해상도의 이미지 비트스트림의 파일정보에, MQ_tiles 태그가 부가되어, 서로 다른 해상도의 이미지 비트스트림을 식별할 수 있다. In addition, the HQ_tiles tag is added to the file information of the ultra-high resolution image bitstream, and the MQ_tiles tag is added to the file information of the high-resolution image bitstream, so that image bitstreams of different resolutions can be identified.
디코딩부(300)는 서버(200)로부터 서로 다른 해상도의 이미지 비트스트림에 대한 데이터를 수신하여 서로 다른 해상도의 이미지 비트스트림을 기반으로 서로 다른 해상도의 이미지를 생성하는 멀티 디코딩 과정을 수행할 수 있다.The
예를 들면, 트랜스코딩부(100)는 타일로 분할하여 트랜스코딩된 초고화질 또는 고화질 영상들과 원본 초고해상도 영상으로부터 다운샘플된 Full-HD급의 저해상도 전체 영상(low resolution full video)을 일반 영상으로 인코딩하여 서버(200)에 전송하고, 디코딩부(300)는, 4K급의 고화질 분할영상을 디코딩하고, 동시에 저해상도 전체 영상을 디코딩할 수 있다. For example, the
더불어, 분할영상 분산 디코딩 시스템은, 타일 기반 스트리밍 서비스 제공시, 상업적인 목적을 갖는 광고 또는 해당 영상과 관련된 추천영상이 함께 스트리밍되도록 할 수 있다. In addition, the split image distributed decoding system, when providing a tile-based streaming service, may allow an advertisement with a commercial purpose or a recommended image related to the corresponding image to be streamed together.
이를 위해, 트랜스코딩부(100)는 초고해상도 또는 고해상도 이미지 비트스트림이 생성된 이후, 하나 이상의 서브 미디어를 인코딩하여 서브 이미지 비트스트림을 생성할 수 있으며, 디코딩부(300)는, 서브 이미지 비트스트림을 파싱하여, 서브 미디어가 재구성된 서브 이미지를 생성하고, 제1 이미지에 서브 이미지를 부가하여 제2 이미지를 생성할 수 있다. To this end, the
이때, 서브 미디어(멀티 뷰 미디어)의 재구성된 서브 이미지는, 도 2에 예시된 바와 같이 복수의 서브 이미지가 동시에 출력될 수 있으며, 서브 미디어와 동일한 해상도의 이미지로 재구성되되, 서브 미디어 및 서브 이미지는, 제1 이미지의 해상도가 1024X1024인 경우, 해상도가 1920X1080일 수 있다. In this case, the reconstructed sub-image of the sub-media (multi-view media) may simultaneously output a plurality of sub-images as illustrated in FIG. 2, and are reconstructed into an image of the same resolution as the sub-media, but the sub-media and sub-image Is, when the resolution of the first image is 1024X1024, the resolution may be 1920X1080.
도 3은 타일 기반 스트리밍을 위한 분할영상 분산 디코딩 시스템의 설명에 제공된 도면이며, 도 4는 타일 기반 스트리밍을 위한 디먹싱 모듈(320)의 설명에 제공된 도면이고, 도 5 내지 도 6은 타일 기반 스트리밍을 위한 디코딩 모듈(330)의 설명에 제공된 도면이다. 3 is a diagram provided to explain a split image distributed decoding system for tile-based streaming, FIG. 4 is a diagram provided to explain a
본 발명의 일 실시예에 따른 디코딩부(300)는 저해상도의 이미지 비트스트림, 초고해상도의 이미지 비트스트림 및 고해상도의 이미지 비트스트림을 각각의 파싱 채널을 통해 파싱하여, 저해상도 이미지, 초고해상도 이미지 및 고해상도 이미지를 병렬적으로 생성하고, 사용자의 관심영역이 초고해상도 또는 고해상도 이미지로 구성되고, 관심영역의 주변영역이 저해상도 이미지로 구성되는 제1 이미지를 생성할 수 있다.The
또한, 디코딩부(300)는, 서브 이미지 비트스트림을 파싱하여, 서브 이미지를 생성하고, 제1 이미지에 서브 이미지를 부가하여 제2 이미지를 생성할 수 있다. 이때, 서브 이미지는, 제1 이미지의 주변영역에 부가되어, 제2 이미지가 생성되도록 할 수 있다. Also, the
다른 예를 들면, 디코딩부(300)는, 초고해상도의 이미지 타일 개수 + 고해상도의 이미지 타일 개수 + 서브 이미지 개수 + 1 개의 파싱 채널, 디먹싱 채널, 디코딩 채널이 마련되어, 저해상도 이미지, 초고해상도 이미지, 고해상도 이미지 및 서브 이미지가 모두 병렬적으로 생성되어, 사용자의 관심영역이 초고해상도 또는 고해상도 이미지로 구성되는 동시에 관심영역의 주변영역에 서브 이미지가 부가되어 제2 이미지가 생성될 수 있다. For another example, the
이를 위해, 디코딩부(300)는, 파싱 모듈(310), 디먹싱 모듈(320), 디코딩 모듈(330), 랜더러 모듈(340)을 포함할 수 있다. To this end, the
파싱 모듈(310)은, 해상도별(HQ, MQ, LQ) 파싱 채널이 마련되고, 서브 이미지 수만큼의 파싱 채널이 추가로 마련되어, 저해상도의 이미지 비트스트림, 초고해상도의 이미지 비트스트림, 고해상도의 이미지 비트스트림 및 서브 이미지 비트스트림을 병렬적으로 파싱하여 디먹싱 모듈(320)에 전달할 수 있다. The
다른 예를 들면, 파싱 모듈(310)은, 초고해상도의 이미지 타일 개수 + 고해상도의 이미지 타일 개수 + 서브 이미지 개수 + 1 개의 파싱 채널이 마련되어, 저해상도의 이미지 비트스트림, 초고해상도의 이미지 비트스트림, 고해상도의 이미지 비트스트림 및 서브 이미지 비트스트림을 병렬적으로 파싱하여 디먹싱 모듈(320)에 전달할 수 있다. For another example, the
이때, 각각의 이미지 비트스트림의 패킷은, 스트림의 타입이 초고해상도(HQ), 고해상도(MQ), 저해상도(LQ) 및 서브 이미지(SUB) 중 어느 타인인지 나타내는 Type, 초고해상도(HQ) 타일의 인텍스인 StreamIdx, 새그먼트의 인덱스인 SegIdx, 새그먼트의 수를 나타내는 SegNum, HEVC 스트림의 사이즈를 나타내는 Size, HEVC 스트림의 데이터가 저장되는 HEVC Stream 및 새그먼트 종료 플래그를 나타내는 EOS로 구성될 수 있다. At this time, the packet of each image bitstream is a type indicating which one of the stream type is ultra-high resolution (HQ), high-resolution (MQ), low-resolution (LQ), and sub-image (SUB), and the type of the ultra-high-resolution (HQ) tile. It may be composed of StreamIdx as an index, SegIdx as an index of segments, SegNum indicating the number of segments, Size indicating the size of the HEVC stream, HEVC Stream in which data of the HEVC stream is stored, and EOS indicating the segment end flag.
여기서, 스트림은, HQ 또는 MQ의 단위를 나타내며, LQ는 스트림 수가 1이며, 서브 이미지는 개수와 스트림 수가 동일하다. 또한, 새그먼트는 파서 버퍼에 담겨지는 단위를 나타내며, 하나의 새그먼트 안에 복수의 스트림이 포함될 수 있다. Here, the stream represents a unit of HQ or MQ, LQ represents the number of
디먹싱 모듈(320)은 해상도별(HQ, MQ, LQ) 디먹싱 채널이 마련되고, 서브 이미지 수만큼의 디먹싱 채널이 추가로 마련되어, 각각의 이미지 비트스트림을 디먹싱 하여 HEVC 스트림을 생성하고, 디코딩 모듈(330)에 전달할 수 있다. In the
다른 예들 들면, 디먹싱 모듈(320)은 파싱 채널의 수가 초고해상도의 이미지 타일 개수 + 고해상도의 이미지 타일 개수 + 서브 이미지 개수 + 1 개인 경우, 초고해상도의 이미지 타일 개수 + 고해상도의 이미지 타일 개수 + 서브 이미지 개수 + 1 개의 디먹싱 채널이 마련되어, 각각의 이미지 비트스트림을 디먹싱 하여 HEVC 스트림을 생성하고, 디코딩 모듈(330)에 전달할 수 있다. For other examples, when the number of parsing channels is the number of super-resolution image tiles + the number of high-resolution image tiles + the number of sub-images + 1, the
여기서, HEVC 스트림은, 비디오 코덱인 HEVC(High-Efficiency Video Coding)을 지원하는 미디어 스트림을 의미한다. Here, the HEVC stream means a media stream supporting High-Efficiency Video Coding (HEVC), which is a video codec.
또한, 이때, 각각의 이미지 패킷은, 스트림의 타입이 초고해상도(HQ), 고해상도(MQ), 저해상도(LQ) 및 서브 이미지(SUB) 중 어느 타인인지 나타내는 Type, 초고해상도(HQ) 타일의 인텍스인 StreamIdx, 새그먼트의 인덱스인 SegIdx, 새그먼트의 수를 나타내는 SegNum, 현재 타임 스탬프를 나타내는 PTS, 스트림의 기간을 나타내는 Duration, 사용 중인 타입 스탬프의 Numerator 및 Denominator, HEVC 스트림의 데이터가 저장되는 HEVC Stream 및 HEVC 스트림의 크기를 나타내는 Stream Size로 구성될 수 있다. In addition, at this time, each image packet is a type indicating which one of the stream type is ultra-high resolution (HQ), high-resolution (MQ), low-resolution (LQ), and sub-image (SUB), and the index of the ultra-high resolution (HQ) tile. In StreamIdx, SegIdx as the index of the segment, SegNum indicating the number of segments, PTS indicating the current time stamp, Duration indicating the duration of the stream, Numerator and Denominator of the type stamp being used, HEVC stream in which data of the HEVC stream is stored And Stream Size indicating the size of the HEVC stream.
디코딩 모듈(330)은 저해상도 이미지, 초고해상도 이미지, 고해상도 이미지 및 서브 이미지를 병렬적으로 생성할 수 있다. The
구체적으로, 디코딩 모듈(330)은, 파싱 채널 및 디먹싱 채널의 수가 초고해상도의 이미지 타일 개수 + 고해상도의 이미지 타일 개수 + 서브 이미지 개수 + 1 개인 경우, 초고해상도의 이미지 타일 개수 + 고해상도의 이미지 타일 개수 + 서브 이미지 개수 + 1 개의 디코딩 채널이 마련되어, 저해상도 이미지, 초고해상도 이미지, 고해상도 이미지 및 서브 이미지를 병렬적으로 생성할 수 있다. Specifically, when the number of parsing channels and demuxing channels is the number of ultra-high resolution image tiles + number of high resolution image tiles + number of sub-images + 1, the
랜더러 모듈(340)은 사용자의 관심영역이 초고해상도 또는 고해상도 이미지로 구성되고, 관심영역의 주변영역이 저해상도 이미지로 구성되는 제1 이미지를 생성할 수 있다. The
구체적으로 랜더러 모듈(340)은, 사용자의 시점(View)에 따라 사용자의 관심영역을 설정하고, 설정된 관심영역 이외에 영역을 주변영역으로 설정하여, 제1 이미지를 생성할 수 있다. Specifically, the
다른 예를 들면, 랜더러 모듈(340)은, 사용자의 관심영역이 설정되면, 설정된 관심영역으로부터 기설정된 범위 이내의 영역을 제1 주변영역으로 설정하고, 관심영역 및 제1 주변영역 이외에 영역을 제2 주변영역으로 설정하여, 관심영역이 초고해상도 이미지로 구성되면, 제1 주변영역이 고해상도 이미지로 구성되고, 제2 주변영역이 저해상도 이미지로 구성되는 제1 이미지를 생성할 수 있다. For another example, when the user's region of interest is set, the
그리고 랜더러 모듈(340)은, 제1 이미지가 생성되면, 제1 이미지에 서브 이미지를 부가하여 제2 이미지를 생성할 수 있다. In addition, when the first image is generated, the
이를 통해, 타일 기반 스트리밍 서비스 제공시, 초고화질 영상을 제공하며, 사용자의 FOV 뷰 스위칭시 지연이 최소화 되도록 할 수 있으며, 상업적인 목적을 갖는 광고 또는 해당 영상과 관련된 추천영상을 함께 스트리밍하여, 유연한 서비스의 제공이 가능하도록 할 수 있다.Through this, when providing tile-based streaming service, it provides ultra-high-definition video, minimizes delay when switching the user's FOV view, and streams commercial advertisements or recommended videos related to the video together, providing a flexible service. Can be made available.
한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.Meanwhile, it goes without saying that the technical idea of the present invention can be applied to a computer-readable recording medium containing a computer program that performs functions of the apparatus and method according to the present embodiment. Further, the technical idea according to various embodiments of the present disclosure may be implemented in the form of a computer-readable code recorded on a computer-readable recording medium. The computer-readable recording medium can be any data storage device that can be read by a computer and can store data. For example, a computer-readable recording medium may be a ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical disk, hard disk drive, or the like. Also, a computer-readable code or program stored in a computer-readable recording medium may be transmitted through a network connected between computers.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.In addition, although the preferred embodiments of the present invention have been illustrated and described above, the present invention is not limited to the specific embodiments described above, and the technical field to which the present invention belongs without departing from the gist of the present invention claimed in the claims. In addition, various modifications are possible by those of ordinary skill in the art, and these modifications should not be individually understood from the technical spirit or prospect of the present invention.
100 : 트랜스코딩부
200 : 서버
300 : 디코딩부
310 : 파싱 모듈
320 : 디먹싱 모듈
330 : 디코딩 모듈
340 : 렌더러 모듈100: transcoding unit
200: server
300: decoding unit
310: parsing module
320: demuxing module
330: decoding module
340: renderer module
Claims (12)
저해상도의 이미지 비트스트림, 초고해상도의 이미지 비트스트림 및 고해상도의 이미지 비트스트림을 각각의 파싱 채널을 통해 파싱하여, 저해상도 이미지, 초고해상도 이미지 및 고해상도 이미지를 병렬적으로 생성하는 단계; 및
사용자의 관심영역이 초고해상도 또는 고해상도 이미지로 구성되고, 관심영역의 주변영역이 저해상도 이미지로 구성되는 제1 이미지를 생성하는 단계;를 포함하는 분할영상 분산 디코딩 방법.
After downsampling the video, it is encoded with one video encoder to generate a low-resolution image bitstream, and after spatially splitting the video into N1xM1 tiles, it is encoded with a plurality of video encoders to generate an image bitstream of ultra-high resolution. Spatially dividing the video into N2xM2 tiles and then encoding it with a plurality of video encoders to generate a high-resolution image bitstream;
Parsing a low-resolution image bitstream, an ultra-high-resolution image bitstream, and a high-resolution image bitstream through respective parsing channels to generate a low-resolution image, an ultra-high-resolution image, and a high-resolution image in parallel; And
Generating a first image in which a user's region of interest is composed of an ultra-high resolution or high-resolution image, and a peripheral region of the region of interest is composed of a low-resolution image.
초고해상도 또는 고해상도 이미지 비트스트림이 생성된 이후, 하나 이상의 서브 미디어를 인코딩하여 서브 이미지 비트스트림을 생성하는 단계;
서브 이미지 비트스트림을 파싱하여, 서브 미디어가 재구성된 서브 이미지를 생성하는 단계; 및
제1 이미지에 서브 이미지를 부가하여 제2 이미지를 생성하는 단계;를 더 포함하는 것을 특징으로 하는 분할영상 분산 디코딩 방법.
The method according to claim 1,
Generating a sub-image bitstream by encoding at least one sub-media after generating an ultra-high resolution or high-resolution image bitstream;
Parsing the sub-image bitstream to generate a sub-image reconstructed from the sub-media; And
And generating a second image by adding the sub-image to the first image.
서브 이미지는,
서브 미디어와 동일한 해상도의 이미지로 재구성되되,
서브 미디어 및 서브 이미지는,
제1 이미지의 해상도가 1024X1024인 경우, 해상도가 1920X1080인 것을 특징으로 하는 분할영상 분산 디코딩 방법.
The method according to claim 2,
The sub image is,
It is reconstructed into an image of the same resolution as the sub media
Sub media and sub images,
When the resolution of the first image is 1024X1024, the split image distributed decoding method, characterized in that the resolution is 1920X1080.
서브 이미지는,
상업적인 목적을 갖는 광고정보 또는 해당 영상과 관련된 추천영상에 대한 정보가 포함되며,
제1 이미지의 주변영역에 배치되도록 부가되는 것을 특징으로 하는 분할영상 분산 디코딩 방법.
The method according to claim 2,
The sub image is,
It includes advertisement information for commercial purposes or information on recommended videos related to the video,
Split image distributed decoding method, characterized in that added to be disposed in the peripheral region of the first image.
저해상도의 이미지 비트스트림, 초고해상도의 이미지 비트스트림 및 고해상도의 이미지 비트스트림을 파일로 저장하는 단계;를 더 포함하고,
파일로 저장하는 단계는,
초고해상도의 이미지 비트스트림의 파일정보에, HQ_tiles 태그가 부가되고,
고해상도의 이미지 비트스트림의 파일정보에, MQ_tiles 태그가 부가되는 것을 특징으로 하는 분할영상 분산 디코딩 방법.
The method according to claim 1,
The step of storing a low-resolution image bitstream, an ultra-high-resolution image bitstream, and a high-resolution image bitstream as a file; further comprising,
The steps to save to a file are:
HQ_tiles tag is added to the file information of the image bitstream of ultra high resolution,
Split image distributed decoding method, characterized in that the MQ_tiles tag is added to the file information of the high-resolution image bitstream.
비디오는,
타일 기반 MPEG 영상이며,
초고해상도 이미지는,
제1 이미지의 해상도가 1024X1024인 경우, 각 타일당 해상도가 512X512이고,
고해상도 이미지는,
제1 이미지의 해상도가 1024X1024인 경우, 각 타일당 해상도가 256X256인 것을 특징으로 하는 특징으로 하는 분할영상 분산 디코딩 방법.
The method according to claim 1,
The video is,
It is a tile-based MPEG video,
Super high resolution images,
If the resolution of the first image is 1024X1024, the resolution per tile is 512X512,
High resolution images,
When the resolution of the first image is 1024X1024, the split image distributed decoding method, characterized in that the resolution per tile is 256X256.
제1 이미지를 생성하는 단계는,
사용자의 시점(View)에 따라 사용자의 관심영역을 설정하고, 설정된 관심영역 이외에 영역을 주변영역으로 설정하는 것을 특징으로 하는 분할영상 분산 디코딩 방법.
The method according to claim 1,
The step of generating the first image,
A split image distributed decoding method, characterized in that the user's region of interest is set according to the user's view, and an area other than the set region of interest is set as a peripheral region.
제1 이미지를 생성하는 단계는,
사용자의 관심영역이 설정되면, 설정된 관심영역으로부터 기설정된 범위 이내의 영역을 제1 주변영역으로 설정하고, 관심영역 및 제1 주변영역 이외에 영역을 제2 주변영역으로 설정하여,
관심영역이 초고해상도 이미지로 구성되면, 제1 주변영역이 고해상도 이미지로 구성되고, 제2 주변영역이 저해상도 이미지로 구성되는 것을 특징으로 하는 분할영상 분산 디코딩 방법.
The method of claim 7,
The step of generating the first image,
When the user's region of interest is set, the region within the preset range from the set region of interest is set as the first peripheral region, and the region other than the region of interest and the first peripheral region is set as the second peripheral region,
A split image distributed decoding method, characterized in that when the ROI is composed of an ultra-high resolution image, the first peripheral region is composed of a high-resolution image, and the second peripheral region is composed of a low-resolution image.
저해상도의 이미지 비트스트림, 초고해상도의 이미지 비트스트림 및 고해상도의 이미지 비트스트림 중 적어도 하나가 생성되면, 비디오에 대한 오디오를 분산 처리하지 않고 트랜스코딩하는 단계;를 더 포함하는 것을 특징으로 하는 분할영상 분산 디코딩 방법.
The method according to claim 1,
When at least one of a low-resolution image bitstream, an ultra-high-resolution image bitstream, and a high-resolution image bitstream is generated, transcoding the audio for the video without distributed processing; split image distribution, characterized in that it further comprises Decoding method.
저해상도의 이미지 비트스트림, 초고해상도의 이미지 비트스트림 및 고해상도의 이미지 비트스트림을 각각의 파싱 채널을 통해 파싱하여, 저해상도 이미지, 초고해상도 이미지 및 고해상도 이미지를 병렬적으로 생성하고, 사용자의 관심영역이 초고해상도 또는 고해상도 이미지로 구성되고, 관심영역의 주변영역이 저해상도 이미지로 구성되는 이미지를 생성하는 디코딩부;를 포함하는 분할영상 분산 디코딩 시스템.
After downsampling the video, it is encoded with one video encoder to generate a low-resolution image bitstream, and after spatially splitting the video into N1xM1 tiles, it is encoded with a plurality of video encoders to generate an image bitstream of ultra-high resolution. A transcoding unit that spatially divides the video into N2xM2 tiles and then encodes it with a plurality of video encoders to generate a high-resolution image bitstream; And
A low-resolution image bitstream, an ultra-high-resolution image bitstream, and a high-resolution image bitstream are parsed through respective parsing channels to generate low-resolution images, ultra-high-resolution images, and high-resolution images in parallel, and the user's region of interest is A split image distributed decoding system comprising: a decoding unit configured as a high-resolution or high-resolution image and generating an image in which a peripheral region of the ROI is configured as a low-resolution image.
시간 분할된 비디오를 다운샘플링한 후 하나의 비디오 인코더로 인코딩하여 저해상도의 이미지 비트스트림을 생성하고, 시간 분할된 비디오를 복수의 타일로 공간 분할한 후, 복수의 비디오 인코더로 인코딩하여 초고해상도 또는 고해상도의 이미지 비트스트림을 생성하고, 하나 이상의 서브 미디어를 인코딩하여 서브 이미지 비트스트림을 생성하는 단계;
저해상도의 이미지 비트스트림 및 초고해상도 또는 고해상도의 이미지 비트스트림을 각각의 파싱 채널을 통해 파싱하여, 저해상도 이미지 및 초고해상도 이미지 또는 고해상도 이미지, 그리고 서브 이미지 비트스트림을 파싱하여, 서브 미디어가 재구성된 서브 이미지를 병렬적으로 생성하는 생성하는 단계; 및
사용자의 관심영역이 초고해상도 또는 고해상도 이미지로 구성되고, 관심영역의 주변영역이 저해상도 이미지로 구성되되, 주변영역에 서브 이미지가 부가된 이미지를 생성하는 단계;를 포함하는 분할영상 분산 디코딩 방법.
Analyzing the input video and dividing time at a bitstream level;
After downsampling the time-divided video, it is encoded with one video encoder to generate a low-resolution image bitstream, and the time-divided video is spatially divided into a plurality of tiles, and then encoded with a plurality of video encoders to achieve ultra-high resolution or high resolution. Generating an image bitstream of and encoding one or more sub media to generate a sub image bitstream;
Sub-images reconstructed by parsing low-resolution image bitstreams and ultra-high-resolution or high-resolution image bitstreams through respective parsing channels, parsing low-resolution images, ultra-high-resolution images or high-resolution images, and sub-image bitstreams Generating generating in parallel; And
Generating an image in which the user's region of interest is composed of an ultra-high resolution or high-resolution image, and the peripheral region of the region of interest is composed of a low-resolution image, and a sub-image is added to the peripheral region.
저해상도의 이미지 비트스트림 및 초고해상도 또는 고해상도의 이미지 비트스트림을 각각의 파싱 채널을 통해 파싱하여, 저해상도 이미지 및 초고해상도 이미지 또는 고해상도 이미지, 그리고 서브 이미지 비트스트림을 파싱하여, 서브 미디어가 재구성된 서브 이미지를 병렬적으로 생성하는 생성하고, 사용자의 관심영역이 초고해상도 또는 고해상도 이미지로 구성되고, 관심영역의 주변영역이 저해상도 이미지로 구성되되, 주변영역에 서브 이미지가 부가된 이미지를 생성하는 디코딩부;를 포함하는 분할영상 분산 디코딩 시스템.
Analyzing the input video, time-segmentation at the bitstream level, downsampling the time-divided video, and encoding with one video encoder to generate a low-resolution image bitstream, and spatially dividing the time-divided video into multiple tiles. Thereafter, a transcoding unit that generates an image bitstream of ultra high resolution or high resolution by encoding with a plurality of video encoders, and generates a sub image bitstream by encoding one or more sub media; And
Sub-images reconstructed by parsing low-resolution image bitstreams and ultra-high-resolution or high-resolution image bitstreams through respective parsing channels, parsing low-resolution images, ultra-high-resolution images or high-resolution images, and sub-image bitstreams A decoding unit that generates and generates in parallel, the user's region of interest is composed of an ultra-high resolution or high-resolution image, the peripheral region of the region of interest is composed of a low-resolution image, and a sub-image is added to the peripheral region; Split image distributed decoding system comprising a.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/KR2019/003179 WO2020189817A1 (en) | 2019-03-19 | 2019-03-19 | Method and system for distributed decoding of split image for tile-based streaming |
KR1020190031046A KR102317938B1 (en) | 2019-03-19 | 2019-03-19 | Division video distributed decoding method and system for tiled streaming |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190031046A KR102317938B1 (en) | 2019-03-19 | 2019-03-19 | Division video distributed decoding method and system for tiled streaming |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20200111410A true KR20200111410A (en) | 2020-09-29 |
KR102317938B1 KR102317938B1 (en) | 2021-10-27 |
Family
ID=72520935
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190031046A KR102317938B1 (en) | 2019-03-19 | 2019-03-19 | Division video distributed decoding method and system for tiled streaming |
Country Status (2)
Country | Link |
---|---|
KR (1) | KR102317938B1 (en) |
WO (1) | WO2020189817A1 (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220067771A (en) * | 2020-11-18 | 2022-05-25 | 주식회사 엘지유플러스 | Image processing device and image playing device for high resolution image streaming and operaing method of thereof |
WO2022225233A1 (en) * | 2021-04-22 | 2022-10-27 | 엘지전자 주식회사 | Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method |
WO2022231267A1 (en) * | 2021-04-26 | 2022-11-03 | 네이버 주식회사 | Method, computer device, and computer program for providing high-quality image of region of interest by using single stream |
KR20230082271A (en) * | 2021-12-01 | 2023-06-08 | 주식회사 엘지유플러스 | The method and apparatus for playing tile based multiview video |
WO2023128491A1 (en) * | 2021-12-30 | 2023-07-06 | 주식회사 카이 | Operation method for system for transmitting multi-channel image, and system for performing same |
KR102641876B1 (en) * | 2023-06-27 | 2024-02-29 | 주식회사 인텔리빅스 | Apparatus and Method for Simultaneous Playback of Interest Video |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112954398B (en) * | 2021-02-07 | 2023-03-24 | 杭州网易智企科技有限公司 | Encoding method, decoding method, device, storage medium and electronic equipment |
CN113453086A (en) * | 2021-03-29 | 2021-09-28 | 北京国际云转播科技有限公司 | Multi-machine-position synchronous cloud broadcasting guiding method, system, storage medium and video encoder |
US11694655B2 (en) | 2021-05-20 | 2023-07-04 | Tcl China Star Optoelectronics Technology Co., Ltd. | Video play system, video play device, and video play method |
CN113344781B (en) * | 2021-05-20 | 2023-12-05 | Tcl华星光电技术有限公司 | Video playing system, component and method |
CN116634177B (en) * | 2023-06-16 | 2024-02-20 | 北京行者无疆科技有限公司 | Video communication decoding processing method based on HDMI communication equipment |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012010117A (en) * | 2010-06-25 | 2012-01-12 | Kddi Corp | Video output device, program and method for determining region of additional information to be superimposed on video contents |
KR20180004029A (en) * | 2016-07-01 | 2018-01-10 | 에스케이텔레콤 주식회사 | Method and Apparatus for Generating Video Bit Stream for Streaming High Resolution Video |
KR20180013243A (en) * | 2016-07-29 | 2018-02-07 | 에스케이텔레콤 주식회사 | Method and Apparatus for Providing and Storing Streaming Contents |
JP2018067966A (en) * | 2014-11-26 | 2018-04-26 | ソニー株式会社 | Live selective adaptive bandwidth |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015102462A1 (en) * | 2014-01-06 | 2015-07-09 | 에스케이텔레콤 주식회사 | Single bit stream generating method and generating device for multiple images |
KR102313485B1 (en) * | 2015-04-22 | 2021-10-15 | 삼성전자주식회사 | Method and apparatus for transmitting and receiving image data for virtual reality streaming service |
US11163358B2 (en) * | 2016-03-17 | 2021-11-02 | Sony Interactive Entertainment Inc. | Spectating virtual (VR) environments associated with VR user interactivity |
US10313763B2 (en) * | 2016-07-29 | 2019-06-04 | Mediatek, Inc. | Method and apparatus for requesting and receiving selected segment streams based on projection information |
-
2019
- 2019-03-19 WO PCT/KR2019/003179 patent/WO2020189817A1/en active Application Filing
- 2019-03-19 KR KR1020190031046A patent/KR102317938B1/en active IP Right Grant
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012010117A (en) * | 2010-06-25 | 2012-01-12 | Kddi Corp | Video output device, program and method for determining region of additional information to be superimposed on video contents |
JP2018067966A (en) * | 2014-11-26 | 2018-04-26 | ソニー株式会社 | Live selective adaptive bandwidth |
KR20180004029A (en) * | 2016-07-01 | 2018-01-10 | 에스케이텔레콤 주식회사 | Method and Apparatus for Generating Video Bit Stream for Streaming High Resolution Video |
KR20180013243A (en) * | 2016-07-29 | 2018-02-07 | 에스케이텔레콤 주식회사 | Method and Apparatus for Providing and Storing Streaming Contents |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220067771A (en) * | 2020-11-18 | 2022-05-25 | 주식회사 엘지유플러스 | Image processing device and image playing device for high resolution image streaming and operaing method of thereof |
WO2022225233A1 (en) * | 2021-04-22 | 2022-10-27 | 엘지전자 주식회사 | Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method |
WO2022231267A1 (en) * | 2021-04-26 | 2022-11-03 | 네이버 주식회사 | Method, computer device, and computer program for providing high-quality image of region of interest by using single stream |
KR20230082271A (en) * | 2021-12-01 | 2023-06-08 | 주식회사 엘지유플러스 | The method and apparatus for playing tile based multiview video |
WO2023128491A1 (en) * | 2021-12-30 | 2023-07-06 | 주식회사 카이 | Operation method for system for transmitting multi-channel image, and system for performing same |
KR102641876B1 (en) * | 2023-06-27 | 2024-02-29 | 주식회사 인텔리빅스 | Apparatus and Method for Simultaneous Playback of Interest Video |
Also Published As
Publication number | Publication date |
---|---|
KR102317938B1 (en) | 2021-10-27 |
WO2020189817A1 (en) | 2020-09-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102317938B1 (en) | Division video distributed decoding method and system for tiled streaming | |
US8107524B2 (en) | Adaptive bandwidth footprint matching for multiple compressed video streams in a fixed bandwidth network | |
US10623754B2 (en) | Information processing device and method | |
KR101944565B1 (en) | Reducing latency in video encoding and decoding | |
CN113498606A (en) | Apparatus, method and computer program for video encoding and decoding | |
US10917653B2 (en) | Accelerated re-encoding of video for video delivery | |
JP7179163B2 (en) | bitstream merge | |
CN101878649A (en) | An extension to the avc standard to support the encoding and storage of high resolution digital still pictures in parallel with video | |
TWI826969B (en) | Encoder and decoder, encoding method and decoding method with profile and level dependent coding options | |
Aksay et al. | End-to-end stereoscopic video streaming with content-adaptive rate and format control | |
US10609383B2 (en) | Video compression using down-sampling patterns in two phases | |
CN114127800A (en) | Method for cross-layer alignment in coded video stream | |
JP5734699B2 (en) | Super-resolution device for distribution video | |
CN112118454B (en) | Video decoding method, apparatus and computer-readable storage medium | |
Rusert et al. | Guided just-in-time transcoding for cloud-based video platforms | |
KR102312668B1 (en) | Video transcoding system | |
US11356683B2 (en) | Creating different video stream representations | |
US20240048764A1 (en) | Method and apparatus for multi view video encoding and decoding, and method for transmitting bitstream generated by the multi view video encoding method | |
Patel et al. | Image segmentation approach for realizing zoomable streaming HEVC video | |
KR101981868B1 (en) | Virtual reality video quality control | |
Diascorn | How AI technology is dramatically improving video compression for broadcast and OTT content delivery | |
Saxena et al. | Analysis of implementation strategies for video communication on some parameters | |
WO2023021362A1 (en) | Video coding concept for handling of motion-vectors in streaming scenarios | |
KR20220059929A (en) | Method and device of processing multi-view video |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |