WO2020189817A1 - 타일 기반 스트리밍을 위한 분할영상 분산 디코딩 방법 및 시스템 - Google Patents

타일 기반 스트리밍을 위한 분할영상 분산 디코딩 방법 및 시스템 Download PDF

Info

Publication number
WO2020189817A1
WO2020189817A1 PCT/KR2019/003179 KR2019003179W WO2020189817A1 WO 2020189817 A1 WO2020189817 A1 WO 2020189817A1 KR 2019003179 W KR2019003179 W KR 2019003179W WO 2020189817 A1 WO2020189817 A1 WO 2020189817A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
resolution
video
bitstream
ultra
Prior art date
Application number
PCT/KR2019/003179
Other languages
English (en)
French (fr)
Inventor
장준환
박우출
양진욱
김용화
이준석
윤상필
최민수
김현욱
조은경
양재영
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Publication of WO2020189817A1 publication Critical patent/WO2020189817A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display

Definitions

  • the present invention relates to a split image distributed decoding method and system, and more particularly, for tile-based streaming, an 8K-class high-efficiency video coding (HEVC) tiled split video and a 2K-class multi-video divided by the DASH protocol in real time.
  • the present invention relates to a method and system for distributed decoding of a split image for decoding.
  • a tile-based streaming service technology which is a method of adaptively streaming only the area currently viewed by the user, has been developed by dividing the image into divided images (tiles) in advance rather than streaming the super-capacity image data at once.
  • FOV field of view
  • the present invention was conceived to solve the above problems, and an object of the present invention is to decode in real time an 8K-class HEVC tiled divided image and a 2K-class multi-video divided by the DASH protocol, when providing a tile-based streaming service, To provide an ultra-high-definition image and to provide a split image distributed decoding method and system that minimizes delay when switching the user's FOV view.
  • another object of the present invention is to provide a method and system for distributed decoding of split images in which advertisements for commercial purposes or recommended images related to the corresponding images are streamed together when providing a tile-based streaming service.
  • the split image distributed decoding method for achieving the above object downsamples the video and then encodes it with one video encoder to generate a low-resolution image bitstream, and spatially converts the video into N1xM1 tiles.
  • encoding with a plurality of video encoders to generate an image bitstream of ultra-high resolution spatially segmenting the video into N2xM2 tiles, and encoding the video with a plurality of video encoders to generate a high-resolution image bitstream; Parsing a low-resolution image bitstream, an ultra-high-resolution image bitstream, and a high-resolution image bitstream through respective parsing channels to generate a low-resolution image, an ultra-high-resolution image, and a high-resolution image in parallel; And generating a first image in which the user's region of interest is composed of an ultra-high resolution or high-resolution image, and a peripheral region of the region of interest is composed of a low-resolution image.
  • a split image distributed decoding method includes generating a sub image bit stream by encoding one or more sub media after generating an ultra high resolution or high resolution image bit stream; Parsing the sub-image bitstream to generate a sub-image reconstructed from the sub-media; And generating a second image by adding a sub image to the first image.
  • the sub-image may be reconstructed as an image having the same resolution as the sub-media, but the sub-media and the sub-image may have a resolution of 1920X1080 when the resolution of the first image is 1024X1024.
  • the sub-image includes advertisement information having a commercial purpose or information on a recommended image related to the corresponding image, and may be added to be disposed in a peripheral area of the first image.
  • the split image distributed decoding method further includes storing an image bitstream of a low resolution, an image bitstream of an ultra high resolution, and an image bitstream of high resolution as a file, wherein the file
  • the HQ_tiles tag may be added to the file information of the image bitstream of the ultra high resolution
  • the MQ_tiles tag may be added to the file information of the image bitstream of the high resolution
  • the video is a tile-based MPEG video, and in the case of the ultra-high resolution image, when the resolution of the first image is 1024X1024, the resolution per tile is 512X512, and in the high-resolution image, when the resolution of the first image is 1024X1024, each tile The resolution can be 256X256.
  • the user's region of interest may be set according to the user's viewpoint, and an area other than the set region of interest may be set as a peripheral region.
  • the first peripheral region when the user's region of interest is set, an area within a preset range from the set region of interest is set as the first peripheral region, and the region other than the region of interest and the first peripheral region is set to the second peripheral region.
  • the region of interest is set as a region and the region of interest is composed of an ultra-high-resolution image
  • the first peripheral region may be composed of a high-resolution image
  • the second peripheral region may be composed of a low-resolution image.
  • Transcoding without may further include.
  • the split image distributed decoding system after downsampling the video, encoding it with one video encoder to generate a low-resolution image bitstream, and spatially dividing the video into N1xM1 tiles.
  • a transcoding unit encoding a plurality of video encoders to generate an image bitstream of ultra-high resolution, spatially dividing the video into N2xM2 tiles, and encoding the video with a plurality of video encoders to generate a high-resolution image bitstream;
  • a low-resolution image bitstream, an ultra-high-resolution image bitstream, and a high-resolution image bitstream are parsed through respective parsing channels to generate a low-resolution image, an ultra-high-resolution image, and a high-resolution image in parallel, and the user's region of interest is It includes; a decoding unit that is composed of an ultra-high resolution or high-resolution image, and generates an image in which a peripheral region of the ROI is composed
  • a split image distributed decoding method includes the steps of analyzing an input video and temporal dividing at a bitstream level; After downsampling the time-divided video, it is encoded with one video encoder to generate a low-resolution image bitstream, and the time-divided video is spatially divided into a plurality of tiles, and then encoded with a plurality of video encoders to achieve ultra-high resolution or high resolution.
  • the split image distributed decoding system analyzes an input video, time-divisions at a bitstream level, downsamples the time-divided video, and encodes the video with one video encoder to provide a low-resolution image.
  • a bitstream is generated, the time-divided video is spatially divided into a plurality of tiles, and then encoded with a plurality of video encoders to generate an image bitstream of ultra high resolution or high resolution, and a sub image bitstream by encoding one or more sub media
  • a transcoding unit that generates And a low-resolution image bitstream and an ultra-high-resolution or high-resolution image bitstream through respective parsing channels to parse a low-resolution image, an ultra-high-resolution image, or a high-resolution image, and a sub-image bitstream, thereby reconstructing the sub media.
  • a decoding unit that generates and generates images in parallel, the user's region of interest is composed of a super-high resolution or high-resolution image, and the peripheral region of the region of interest is composed of a low-resolution image, and a sub-image is added to the peripheral region.
  • an ultra-high-definition image is provided, and a delay may be minimized when a user switches the FOV view.
  • FIG. 1 is a conceptual diagram of a tile-based streaming service according to an embodiment of the present invention
  • FIG. 2 is a diagram illustrating a screen provided through a tile-based streaming service
  • 3 is a diagram provided to explain a split image distributed decoding system for tile-based streaming
  • 4 is a diagram provided to explain a demuxing module for tile-based streaming
  • FIG. 5 is a diagram provided in the description of a decoding module for tile-based streaming.
  • 6 is a braked diagram to describe the decoding module in more detail.
  • FIG. 1 is a conceptual diagram of a tile-based streaming service according to an embodiment of the present invention
  • FIG. 2 is a diagram illustrating a screen provided through a tile-based streaming service.
  • a split image distributed decoding system for tile-based streaming according to an embodiment of the present invention (hereinafter, collectively referred to as a'split image distributed decoding system') provides an ultra-high definition image when providing a tile-based streaming service, In order to minimize the delay when switching the user's FOV view, it may be implemented in a multi-encoding and multi-decoding structure.
  • the split image distribution decoding system may include a transcoding unit 100, a server 200, and a decoding unit 300.
  • the transcoding unit 100 may analyze the input video, time-division at a bitstream level, downsample the time-divided video, and multi-encode the image bitstreams of different resolutions and transmit the multi-encoded image to the server 200.
  • the transcoding unit 100 may analyze the input video and perform time division of the image at the bitstream level.
  • the time division interval can be set from 1 to N seconds, and the default value is 3 to 5 seconds depending on the video, and the time division is video key frame (IDR picture of HEVC and H264/AVC, MPEG-1/2/4 Since it is possible only in the Intra frame of (intra frame, Key frame of AV1, etc.), the time division interval may change little by little depending on the position of the video key frame in the video.
  • the transcoding unit 100 may independently transcode audio for video without distributed processing. . This is because the audio can be processed by the master alone because distributed processing is almost impossible due to the nature of the format of the audio codec, and the transcoding operation load is low.
  • the transcoding unit 100 may downsample the time-divided video and then encode it with one video encoder to generate a low-resolution image bitstream.
  • the transcoding unit 100 may spatially divide the time-divided video into a plurality of tiles and then encode the time-divided video with a plurality of video encoders to generate an image bitstream of ultra high resolution and/or high resolution.
  • the transcoding unit 100 spatially divides the video into N1xM1 tiles, encodes it with a plurality of video encoders, generates an image bitstream of ultra high resolution, spatially divides the video into N2xM2 tiles, and It is possible to generate a high-resolution image bitstream by encoding with a video encoder of. To this end, the transcoding unit 100 needs the number of ultra-high resolution image tiles + the number of high resolution image tiles + the number of sub-images + one video encoder.
  • the video that is the input video is a tile-based MPEG video, and for the ultra-high resolution image, when the resolution of the first image is 1024X1024, the resolution per tile is 512X512, and for the high-resolution image, when the resolution of the first image is 1024X1024 ,
  • the resolution per tile may be 256X256.
  • the transcoding unit 100 may store a low-resolution image bitstream, an ultra-high-resolution image bitstream, and a high-resolution image bitstream as files and transmit them to the server 200.
  • the HQ_tiles tag is added to the file information of the ultra-high resolution image bitstream
  • the MQ_tiles tag is added to the file information of the high-resolution image bitstream, so that image bitstreams of different resolutions can be identified.
  • the decoding unit 300 may receive data on an image bitstream of different resolutions from the server 200 and perform a multi-decoding process of generating images of different resolutions based on the image bitstreams of different resolutions. .
  • the transcoding unit 100 divides into tiles and converts the transcoded ultra-high-definition or high-definition images and a full-HD class low-resolution full video downsampled from the original ultra-high-resolution image to a general image. It is encoded and transmitted to the server 200, and the decoding unit 300 may decode a 4K-class high-definition split image and simultaneously decode a low-resolution full image.
  • the split image distributed decoding system when providing a tile-based streaming service, may allow an advertisement with a commercial purpose or a recommended image related to the corresponding image to be streamed together.
  • the transcoding unit 100 may generate a sub-image bitstream by encoding one or more sub media after generating an ultra-high resolution or high-resolution image bitstream, and the decoding unit 300 may generate a sub-image bitstream.
  • the decoding unit 300 may generate a sub-image bitstream.
  • a sub-image reconstructed from the sub-media may be generated, and a second image may be generated by adding the sub-image to the first image.
  • the reconstructed sub-image of the sub-media may simultaneously output a plurality of sub-images as illustrated in FIG. 2, and are reconstructed into an image of the same resolution as the sub-media, but the sub-media and sub-image Is, when the resolution of the first image is 1024X1024, the resolution may be 1920X1080.
  • FIG. 3 is a diagram provided to explain a split image distributed decoding system for tile-based streaming
  • FIG. 4 is a diagram provided to explain a demuxing module 320 for tile-based streaming
  • FIGS. 5 to 6 are tile-based streaming It is a diagram provided in the description of the decoding module 330 for.
  • the decoding unit 300 parses a low-resolution image bitstream, an ultra-high-resolution image bitstream, and a high-resolution image bitstream through respective parsing channels, thereby parsing a low-resolution image, an ultra-high-resolution image, and a high-resolution image bitstream.
  • An image may be generated in parallel, and a first image may be generated in which a user's region of interest is composed of an ultra-high resolution or high-resolution image, and a peripheral region of the region of interest is composed of a low-resolution image.
  • the decoding unit 300 may generate a sub-image by parsing the sub-image bitstream, and may generate a second image by adding the sub-image to the first image.
  • the sub-image may be added to a peripheral area of the first image to generate a second image.
  • the decoding unit 300 provides the number of ultra-high resolution image tiles + the number of high resolution image tiles + the number of sub-images + one parsing channel, a demux channel, and a decoding channel, a low-resolution image, an ultra-high-resolution image, Since both the high-resolution image and the sub-image are generated in parallel, the user's region of interest is composed of an ultra-high resolution or high-resolution image, and a second image may be generated by adding a sub-image to the peripheral region of the region of interest.
  • the decoding unit 300 may include a parsing module 310, a demuxing module 320, a decoding module 330, and a renderer module 340.
  • the parsing module 310 is provided with a parsing channel for each resolution (HQ, MQ, LQ), and additionally provides parsing channels as many as the number of sub-images, and a low-resolution image bitstream, an ultra-high-resolution image bitstream, and a high-resolution image
  • the bitstream and the sub-image bitstream may be parsed in parallel and transmitted to the demuxing module 320.
  • the parsing module 310 provides the number of ultra-high resolution image tiles + the number of high resolution image tiles + the number of sub-images + one parsing channel, and provides a low-resolution image bitstream, an ultra-high resolution image bitstream, and a high-resolution image.
  • the image bitstream and the sub-image bitstream of may be parsed in parallel and transmitted to the demuxing module 320.
  • the packet of each image bitstream is a type indicating which one of the stream type is ultra-high resolution (HQ), high-resolution (MQ), low-resolution (LQ), and sub-image (SUB), and the type of the ultra-high-resolution (HQ) tile. It may be composed of StreamIdx as an index, SegIdx as an index of segments, SegNum indicating the number of segments, Size indicating the size of the HEVC stream, HEVC Stream in which data of the HEVC stream is stored, and EOS indicating the segment end flag.
  • the stream represents a unit of HQ or MQ
  • LQ represents the number of streams 1
  • the number of sub-images is the same as the number of streams.
  • the segment represents a unit contained in the parser buffer, and a plurality of streams may be included in one segment.
  • a demuxing channel for each resolution (HQ, MQ, LQ) is provided, and a demuxing channel equal to the number of sub-images is additionally provided, and an HEVC stream is generated by demuxing each image bitstream. , May be transmitted to the decoding module 330.
  • the demuxing module 320 includes the number of ultra-high-resolution image tiles + the number of high-resolution image tiles + sub The number of images + 1 demuxing channel is provided, and an HEVC stream may be generated by demuxing each image bitstream, and transmitted to the decoding module 330.
  • the HEVC stream means a media stream supporting High-Efficiency Video Coding (HEVC), which is a video codec.
  • HEVC High-Efficiency Video Coding
  • each image packet is a type indicating which one of the stream type is ultra-high resolution (HQ), high-resolution (MQ), low-resolution (LQ), and sub-image (SUB), and the index of the ultra-high resolution (HQ) tile.
  • HQ ultra-high resolution
  • MQ high-resolution
  • LQ low-resolution
  • SUB sub-image
  • HQ ultra-high resolution
  • SegIdx as the index of the segment
  • SegNum indicating the number of segments
  • PTS indicating the current time stamp
  • Duration indicating the duration of the stream
  • Numerator and Denominator of the type stamp being used HEVC stream in which data of the HEVC stream is stored
  • Stream Size indicating the size of the HEVC stream.
  • the decoding module 330 may generate a low-resolution image, an ultra-high-resolution image, a high-resolution image, and a sub-image in parallel.
  • the decoding module 330 includes the number of ultra-high resolution image tiles + high resolution image tiles.
  • the number + number of sub-images + one decoding channel is provided, so that low-resolution images, super-resolution images, high-resolution images, and sub-images can be generated in parallel.
  • the renderer module 340 may generate a first image in which a user's region of interest is composed of an ultra-high resolution or high-resolution image, and a peripheral region of the region of interest is composed of a low-resolution image.
  • the renderer module 340 may generate a first image by setting a user's region of interest according to the user's viewpoint, and setting an area other than the set region of interest as a peripheral region.
  • the renderer module 340 sets the region within a preset range from the set region of interest as the first peripheral region, and determines the region other than the region of interest and the first peripheral region. 2
  • the region of interest is configured as an ultra-high resolution image by setting it as the peripheral region, a first image in which the first peripheral region is composed of a high-resolution image and the second peripheral region is composed of a low-resolution image may be generated.
  • the renderer module 340 may generate a second image by adding a sub-image to the first image.
  • a computer-readable recording medium containing a computer program that performs functions of the apparatus and method according to the present embodiment.
  • the technical idea according to various embodiments of the present disclosure may be implemented in the form of a computer-readable code recorded on a computer-readable recording medium.
  • the computer-readable recording medium can be any data storage device that can be read by a computer and can store data.
  • a computer-readable recording medium may be a ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical disk, hard disk drive, or the like.
  • a computer-readable code or program stored in a computer-readable recording medium may be transmitted through a network connected between computers.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

타일 기반 스트리밍을 위하여, DASH 프로토콜로 분할된 8K급 HEVC tiled 분할 영상과 2K급 다중 영상을 실시간으로 디코딩하는 분할영상 분산 디코딩 방법 및 시스템이 제공된다. 본 발명의 실시예에 따른 분할영상 분산 디코딩 방법은 비디오를 다운샘플링한 후 하나의 비디오 인코더로 인코딩하여 저해상도의 이미지 비트스트림을 생성하고, 비디오를 N1xM1개의 타일로 공간 분할한 후, 복수의 비디오 인코더로 인코딩하여 초고해상도의 이미지 비트스트림을 생성하며, 비디오를 N2xM2개의 타일로 공간 분할한 후, 복수의 비디오 인코더로 인코딩하여 고해상도의 이미지 비트스트림을 생성하는 단계; 저해상도의 이미지 비트스트림, 초고해상도의 이미지 비트스트림 및 고해상도의 이미지 비트스트림을 각각의 파싱 채널을 통해 파싱하여, 저해상도 이미지, 초고해상도 이미지 및 고해상도 이미지를 병렬적으로 생성하는 단계; 및 사용자의 관심영역이 초고해상도 또는 고해상도 이미지로 구성되고, 관심영역의 주변영역이 저해상도 이미지로 구성되는 제1 이미지를 생성하는 단계;를 포함한다. 이에 의해, 타일 기반 스트리밍 서비스 제공시, 초고화질 영상을 제공하며, 사용자의 FOV 뷰 스위칭시 지연이 최소화 되도록 할 수 있다. 또한, 상업적인 목적을 갖는 광고 또는 해당 영상과 관련된 추천영상을 함께 스트리밍하여, 유연한 서비스 제공이 가능할 수 있다.

Description

타일 기반 스트리밍을 위한 분할영상 분산 디코딩 방법 및 시스템
본 발명은 분할영상 분산 디코딩 방법 및 시스템에 관한 것으로, 더욱 상세하게는 타일 기반 스트리밍을 위하여, DASH 프로토콜로 분할된 8K급 HEVC(High-Efficiency Video Coding) tiled 분할 영상과 2K급 다중 영상을 실시간으로 디코딩하는 분할영상 분산 디코딩 방법 및 시스템에 관한 것이다.
8K(7680x4320)/16K(15360x8640)급 360VR 및 파노라마 영상과 같은 초대용량 비디오를 스트리밍 서비스하기 위해서는, 1) 네트웍 대역폭 부족, 2) 다수 클라이언트를 위한 스트리밍 서버의 초대용량 데이터 처리 능력 부족, 3) 소비가전 디바이스의 재생 능력 부족, 이라는 세 가지 문제를 해결하는 기술이 필요하다.
이러한 세 가지 문제를 해결하기 위해, 초대용량 영상 데이터를 한번에 스트리밍하기보다는 영상을 미리 분할 영상(타일)로 분할하여 사용자가 현재 보고 있는 영역만을 적응적으로 스트리밍하는 방법인 타일 기반 스트리밍 서비스 기술이 개발되었으나, 사용자의 FOV(Field of View) 뷰 스위칭시 새로운 타일을 스트리밍 받아야하므로 약간의 지연이 발생하는 단점을 가지게 된다.
이에, 타일 기반 스트리밍 서비스 기술을 적용하되, 사용자의 FOV 뷰 스위칭시 지연이 최소화되도록 하는 방안의 모색이 요구된다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, DASH 프로토콜로 분할된 8K급 HEVC tiled 분할 영상과 2K급 다중 영상을 실시간으로 디코딩함으로써, 타일 기반 스트리밍 서비스 제공시, 초고화질 영상을 제공하며, 사용자의 FOV 뷰 스위칭시 지연이 최소화 되도록 하는 분할영상 분산 디코딩 방법 및 시스템을 제공함에 있다.
또한, 본 발명의 다른 목적은, 타일 기반 스트리밍 서비스 제공시, 상업적인 목적을 갖는 광고 또는 해당 영상과 관련된 추천영상이 함께 스트리밍되는 분할영상 분산 디코딩 방법 및 시스템을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 분할영상 분산 디코딩 방법은 비디오를 다운샘플링한 후 하나의 비디오 인코더로 인코딩하여 저해상도의 이미지 비트스트림을 생성하고, 비디오를 N1xM1개의 타일로 공간 분할한 후, 복수의 비디오 인코더로 인코딩하여 초고해상도의 이미지 비트스트림을 생성하며, 비디오를 N2xM2개의 타일로 공간 분할한 후, 복수의 비디오 인코더로 인코딩하여 고해상도의 이미지 비트스트림을 생성하는 단계; 저해상도의 이미지 비트스트림, 초고해상도의 이미지 비트스트림 및 고해상도의 이미지 비트스트림을 각각의 파싱 채널을 통해 파싱하여, 저해상도 이미지, 초고해상도 이미지 및 고해상도 이미지를 병렬적으로 생성하는 단계; 및 사용자의 관심영역이 초고해상도 또는 고해상도 이미지로 구성되고, 관심영역의 주변영역이 저해상도 이미지로 구성되는 제1 이미지를 생성하는 단계;를 포함한다.
그리고 본 발명의 일 실시예에 따른, 분할영상 분산 디코딩 방법은 초고해상도 또는 고해상도 이미지 비트스트림이 생성된 이후, 하나 이상의 서브 미디어를 인코딩하여 서브 이미지 비트스트림을 생성하는 단계; 서브 이미지 비트스트림을 파싱하여, 서브 미디어가 재구성된 서브 이미지를 생성하는 단계; 및 제1 이미지에 서브 이미지를 부가하여 제2 이미지를 생성하는 단계;를 더 포함할 수 있다.
또한, 서브 이미지는, 서브 미디어와 동일한 해상도의 이미지로 재구성되되, 서브 미디어 및 서브 이미지지는, 제1 이미지의 해상도가 1024X1024인 경우, 해상도가 1920X1080일 수 있다.
그리고 서브 이미지는, 상업적인 목적을 갖는 광고정보 또는 해당 영상과 관련된 추천영상에 대한 정보가 포함되며, 제1 이미지의 주변영역에 배치되도록 부가될 수 있다.
또한, 본 발명의 일 실시예에 따른, 분할영상 분산 디코딩 방법은 저해상도의 이미지 비트스트림, 초고해상도의 이미지 비트스트림 및 고해상도의 이미지 비트스트림을 파일로 저장하는 단계;를 더 포함하고, 이때, 파일로 저장하는 단계는, 초고해상도의 이미지 비트스트림의 파일정보에, HQ_tiles 태그가 부가되고, 고해상도의 이미지 비트스트림의 파일정보에, MQ_tiles 태그가 부가될 수 있다.
그리고 비디오는, 타일 기반 MPEG 영상이며, 초고해상도 이미지는, 제1 이미지의 해상도가 1024X1024인 경우, 각 타일당 해상도가 512X512이고, 고해상도 이미지는, 제1 이미지의 해상도가 1024X1024인 경우, 각 타일당 해상도가 256X256일 수 있다.
또한, 제1 이미지를 생성하는 단계는, 사용자의 시점(View)에 따라 사용자의 관심영역을 설정하고, 설정된 관심영역 이외에 영역을 주변영역으로 설정할 수 있다.
그리고 제1 이미지를 생성하는 단계는, 사용자의 관심영역이 설정되면, 설정된 관심영역으로부터 기설정된 범위 이내의 영역을 제1 주변영역으로 설정하고, 관심영역 및 제1 주변영역 이외에 영역을 제2 주변영역으로 설정하여, 관심영역이 초고해상도 이미지로 구성되면, 제1 주변영역이 고해상도 이미지로 구성되고, 제2 주변영역이 저해상도 이미지로 구성될 수 있다.
또한, 본 발명의 일 실시예에 따른, 분할영상 분산 디코딩 방법은 저해상도의 이미지 비트스트림, 초고해상도의 이미지 비트스트림 및 고해상도의 이미지 비트스트림 중 적어도 하나가 생성되면, 비디오에 대한 오디오를 분산 처리하지 않고 트랜스코딩하는 단계;를 더 포함할 수 있다.
한편, 본 발명의 다른 실시예에 따른, 분할영상 분산 디코딩 시스템은, 비디오를 다운샘플링한 후 하나의 비디오 인코더로 인코딩하여 저해상도의 이미지 비트스트림을 생성하고, 비디오를 N1xM1개의 타일로 공간 분할한 후, 복수의 비디오 인코더로 인코딩하여 초고해상도의 이미지 비트스트림을 생성하며, 비디오를 N2xM2개의 타일로 공간 분할한 후, 복수의 비디오 인코더로 인코딩하여 고해상도의 이미지 비트스트림을 생성하는 트랜스코딩부; 및 저해상도의 이미지 비트스트림, 초고해상도의 이미지 비트스트림 및 고해상도의 이미지 비트스트림을 각각의 파싱 채널을 통해 파싱하여, 저해상도 이미지, 초고해상도 이미지 및 고해상도 이미지를 병렬적으로 생성하고, 사용자의 관심영역이 초고해상도 또는 고해상도 이미지로 구성되고, 관심영역의 주변영역이 저해상도 이미지로 구성되는 이미지를 생성하는 디코딩부;를 포함한다.
한편, 본 발명의 다른 실시예에 따른, 분할영상 분산 디코딩 방법은, 분할영상 분산 디코딩 방법은 입력 동영상을 분석하여 비트스트림 레벨에서 시간 분할하는 단계; 시간 분할된 비디오를 다운샘플링한 후 하나의 비디오 인코더로 인코딩하여 저해상도의 이미지 비트스트림을 생성하고, 시간 분할된 비디오를 복수의 타일로 공간 분할한 후, 복수의 비디오 인코더로 인코딩하여 초고해상도 또는 고해상도의 이미지 비트스트림을 생성하고, 하나 이상의 서브 미디어를 인코딩하여 서브 이미지 비트스트림을 생성하는 단계; 저해상도의 이미지 비트스트림 및 초고해상도 또는 고해상도의 이미지 비트스트림을 각각의 파싱 채널을 통해 파싱하여, 저해상도 이미지 및 초고해상도 이미지 또는 고해상도 이미지, 그리고 서브 이미지 비트스트림을 파싱하여, 서브 미디어가 재구성된 서브 이미지를 병렬적으로 생성하는 생성하는 단계; 및 사용자의 관심영역이 초고해상도 또는 고해상도 이미지로 구성되고, 관심영역의 주변영역이 저해상도 이미지로 구성되되, 주변영역에 서브 이미지가 부가된 이미지를 생성하는 단계;를 포함한다.
한편, 본 발명의 다른 실시예에 따른, 분할영상 분산 디코딩 시스템은, 입력 동영상을 분석하여 비트스트림 레벨에서 시간 분할하고, 시간 분할된 비디오를 다운샘플링한 후 하나의 비디오 인코더로 인코딩하여 저해상도의 이미지 비트스트림을 생성하고, 시간 분할된 비디오를 복수의 타일로 공간 분할한 후, 복수의 비디오 인코더로 인코딩하여 초고해상도 또는 고해상도의 이미지 비트스트림을 생성하고, 하나 이상의 서브 미디어를 인코딩하여 서브 이미지 비트스트림을 생성하는 트랜스코딩부; 및 저해상도의 이미지 비트스트림 및 초고해상도 또는 고해상도의 이미지 비트스트림을 각각의 파싱 채널을 통해 파싱하여, 저해상도 이미지 및 초고해상도 이미지 또는 고해상도 이미지, 그리고 서브 이미지 비트스트림을 파싱하여, 서브 미디어가 재구성된 서브 이미지를 병렬적으로 생성하는 생성하고, 사용자의 관심영역이 초고해상도 또는 고해상도 이미지로 구성되고, 관심영역의 주변영역이 저해상도 이미지로 구성되되, 주변영역에 서브 이미지가 부가된 이미지를 생성하는 디코딩부;를 포함한다.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 타일 기반 스트리밍 서비스 제공시, 초고화질 영상을 제공하며, 사용자의 FOV 뷰 스위칭시 지연이 최소화 되도록 할 수 있다.
또한, 본 발명의 실시예들에 따르면, 상업적인 목적을 갖는 광고 또는 해당 영상과 관련된 추천영상을 함께 스트리밍하여, 유연한 서비스 제공이 가능할 수 있다.
도 1은 본 발명의 일 실시예에 따른 타일 기반 스트리밍 서비스의 개념도,
도 2는 타일 기반 스트리밍 서비스를 통해 제공되는 화면이 예시된 도면,
도 3은 타일 기반 스트리밍을 위한 분할영상 분산 디코딩 시스템의 설명에 제공된 도면,
도 4는 타일 기반 스트리밍을 위한 디먹싱 모듈의 설명에 제공된 도면,
도 5는 타일 기반 스트리밍을 위한 디코딩 모듈의 설명에 제공된 도면, 그리고
도 6은 디코딩 모듈을 더욱 상세히 설명하기 위해 제동된 도면이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 타일 기반 스트리밍 서비스의 개념도이고, 도 2는 타일 기반 스트리밍 서비스를 통해 제공되는 화면이 예시된 도면이다.
본 발명의 일 실시예에 따른 타일 기반 스트리밍을 위한 분할영상 분산 디코딩 시스템(이하에서는 '분할영상 분산 디코딩 시스템'으로 총칭하기로 함)은, 타일 기반 스트리밍 서비스 제공시, 초고화질 영상을 제공하며, 사용자의 FOV 뷰 스위칭시 지연이 최소화 되도록 하기 위해, 멀티 인코딩, 멀티 디코딩 구조로 구현될 수 있다.
즉, 입력 동영상을 분석하여 비트스트림 레벨에서 시간 분할하고, 시간 분할된 비디오를 다운샘플링한 후, 서로 다른 해상도의 이미지 비트스트림으로 멀티 인코딩하고, 서로 다른 해상도의 이미지 비트스트림을 기반으로 서로 다른 해상도의 이미지를 생성하는 멀티 디코딩 과정을 수행할 수 있다.
이를 위해, 분할영상 분산 디코딩 시스템은, 트랜스코딩부(100), 서버(200) 및 디코딩부(300)를 포함할 수 있다.
트랜스코딩부(100)는 입력 동영상을 분석하여 비트스트림 레벨에서 시간 분할하고, 시간 분할된 비디오를 다운샘플링한 후, 서로 다른 해상도의 이미지 비트스트림으로 멀티 인코딩하여 서버(200)에 전송할 수 있다.
구체적으로, 트랜스코딩부(100)는 입력 동영상을 분석하여 비트스트림 레벨에서 영상의 시간 분할(Time division)을 수행할 수 있다.
이때, 시간 분할 간격은 1~N초로 설정이 가능하고, 영상에 따라 기본 값은 3~5초이며, 시간 분할은 비디오 Key frame (HEVC 및 H264/AVC의 IDR picture, MPEG-1/2/4의 Intra frame, AV1의 Key frame 등) 에서만 가능하기 때문에, 영상 내에서비디오 Key frame 위치에 따라 시간 분할 간격은 조금씩 변동될 수 있다.
또한, 트랜스코딩부(100)는 저해상도의 이미지 비트스트림, 초고해상도의 이미지 비트스트림 및 고해상도의 이미지 비트스트림 중 적어도 하나가 생성되면, 비디오에 대한 오디오를 분산 처리하지 않고 단독으로 트랜스코딩할 수 있다. 이는, 오디오는 오디오코덱의 포맷 특성상 분산 처리가 거의 불가능하고, 트랜스코딩 연산 부하가 낮아서 마스터 단독으로 처리 가능하기 때문이다.
그리고, 트랜스코딩부(100)는 시간 분할된 비디오를 다운샘플링한 후 하나의 비디오 인코더로 인코딩하여 저해상도의 이미지 비트스트림을 생성할 수 있다.
또한, 트랜스코딩부(100)는 시간 분할된 비디오를 복수의 타일로 공간 분할한 후, 복수의 비디오 인코더로 인코딩하여 초고해상도 및/또는 고해상도의 이미지 비트스트림을 생성할 수 있다.
구체적으로, 트랜스코딩부(100)는 비디오를 N1xM1개의 타일로 공간 분할한 후, 복수의 비디오 인코더로 인코딩하여 초고해상도의 이미지 비트스트림을 생성하고, 비디오를 N2xM2개의 타일로 공간 분할한 후, 복수의 비디오 인코더로 인코딩하여 고해상도의 이미지 비트스트림을 생성할 수 있다. 이를 위해, 트랜스코딩부(100)는, 초고해상도의 이미지 타일 개수 + 고해상도의 이미지 타일 개수 + 서브 이미지 개수 + 1 개의 비디오 인코더가 필요하다.
이때, 입력 동영상인 비디오는, 타일 기반 MPEG 영상이며, 초고해상도 이미지는, 제1 이미지의 해상도가 1024X1024인 경우, 각 타일당 해상도가 512X512이고, 고해상도 이미지는, 제1 이미지의 해상도가 1024X1024인 경우, 각 타일당 해상도가 256X256일 수 있다.
트랜스코딩부(100)는 저해상도의 이미지 비트스트림, 초고해상도의 이미지 비트스트림 및 고해상도의 이미지 비트스트림을 파일로 저장하고, 서버(200)에 전송할 수 있다.
그리고 초고해상도의 이미지 비트스트림의 파일정보에, HQ_tiles 태그가 부가되고, 고해상도의 이미지 비트스트림의 파일정보에, MQ_tiles 태그가 부가되어, 서로 다른 해상도의 이미지 비트스트림을 식별할 수 있다.
디코딩부(300)는 서버(200)로부터 서로 다른 해상도의 이미지 비트스트림에 대한 데이터를 수신하여 서로 다른 해상도의 이미지 비트스트림을 기반으로 서로 다른 해상도의 이미지를 생성하는 멀티 디코딩 과정을 수행할 수 있다.
예를 들면, 트랜스코딩부(100)는 타일로 분할하여 트랜스코딩된 초고화질 또는 고화질 영상들과 원본 초고해상도 영상으로부터 다운샘플된 Full-HD급의 저해상도 전체 영상(low resolution full video)을 일반 영상으로 인코딩하여 서버(200)에 전송하고, 디코딩부(300)는, 4K급의 고화질 분할영상을 디코딩하고, 동시에 저해상도 전체 영상을 디코딩할 수 있다.
더불어, 분할영상 분산 디코딩 시스템은, 타일 기반 스트리밍 서비스 제공시, 상업적인 목적을 갖는 광고 또는 해당 영상과 관련된 추천영상이 함께 스트리밍되도록 할 수 있다.
이를 위해, 트랜스코딩부(100)는 초고해상도 또는 고해상도 이미지 비트스트림이 생성된 이후, 하나 이상의 서브 미디어를 인코딩하여 서브 이미지 비트스트림을 생성할 수 있으며, 디코딩부(300)는, 서브 이미지 비트스트림을 파싱하여, 서브 미디어가 재구성된 서브 이미지를 생성하고, 제1 이미지에 서브 이미지를 부가하여 제2 이미지를 생성할 수 있다.
이때, 서브 미디어(멀티 뷰 미디어)의 재구성된 서브 이미지는, 도 2에 예시된 바와 같이 복수의 서브 이미지가 동시에 출력될 수 있으며, 서브 미디어와 동일한 해상도의 이미지로 재구성되되, 서브 미디어 및 서브 이미지는, 제1 이미지의 해상도가 1024X1024인 경우, 해상도가 1920X1080일 수 있다.
도 3은 타일 기반 스트리밍을 위한 분할영상 분산 디코딩 시스템의 설명에 제공된 도면이며, 도 4는 타일 기반 스트리밍을 위한 디먹싱 모듈(320)의 설명에 제공된 도면이고, 도 5 내지 도 6은 타일 기반 스트리밍을 위한 디코딩 모듈(330)의 설명에 제공된 도면이다.
본 발명의 일 실시예에 따른 디코딩부(300)는 저해상도의 이미지 비트스트림, 초고해상도의 이미지 비트스트림 및 고해상도의 이미지 비트스트림을 각각의 파싱 채널을 통해 파싱하여, 저해상도 이미지, 초고해상도 이미지 및 고해상도 이미지를 병렬적으로 생성하고, 사용자의 관심영역이 초고해상도 또는 고해상도 이미지로 구성되고, 관심영역의 주변영역이 저해상도 이미지로 구성되는 제1 이미지를 생성할 수 있다.
또한, 디코딩부(300)는, 서브 이미지 비트스트림을 파싱하여, 서브 이미지를 생성하고, 제1 이미지에 서브 이미지를 부가하여 제2 이미지를 생성할 수 있다. 이때, 서브 이미지는, 제1 이미지의 주변영역에 부가되어, 제2 이미지가 생성되도록 할 수 있다.
다른 예를 들면, 디코딩부(300)는, 초고해상도의 이미지 타일 개수 + 고해상도의 이미지 타일 개수 + 서브 이미지 개수 + 1 개의 파싱 채널, 디먹싱 채널, 디코딩 채널이 마련되어, 저해상도 이미지, 초고해상도 이미지, 고해상도 이미지 및 서브 이미지가 모두 병렬적으로 생성되어, 사용자의 관심영역이 초고해상도 또는 고해상도 이미지로 구성되는 동시에 관심영역의 주변영역에 서브 이미지가 부가되어 제2 이미지가 생성될 수 있다.
이를 위해, 디코딩부(300)는, 파싱 모듈(310), 디먹싱 모듈(320), 디코딩 모듈(330), 랜더러 모듈(340)을 포함할 수 있다.
파싱 모듈(310)은, 해상도별(HQ, MQ, LQ) 파싱 채널이 마련되고, 서브 이미지 수만큼의 파싱 채널이 추가로 마련되어, 저해상도의 이미지 비트스트림, 초고해상도의 이미지 비트스트림, 고해상도의 이미지 비트스트림 및 서브 이미지 비트스트림을 병렬적으로 파싱하여 디먹싱 모듈(320)에 전달할 수 있다.
다른 예를 들면, 파싱 모듈(310)은, 초고해상도의 이미지 타일 개수 + 고해상도의 이미지 타일 개수 + 서브 이미지 개수 + 1 개의 파싱 채널이 마련되어, 저해상도의 이미지 비트스트림, 초고해상도의 이미지 비트스트림, 고해상도의 이미지 비트스트림 및 서브 이미지 비트스트림을 병렬적으로 파싱하여 디먹싱 모듈(320)에 전달할 수 있다.
이때, 각각의 이미지 비트스트림의 패킷은, 스트림의 타입이 초고해상도(HQ), 고해상도(MQ), 저해상도(LQ) 및 서브 이미지(SUB) 중 어느 타인인지 나타내는 Type, 초고해상도(HQ) 타일의 인텍스인 StreamIdx, 새그먼트의 인덱스인 SegIdx, 새그먼트의 수를 나타내는 SegNum, HEVC 스트림의 사이즈를 나타내는 Size, HEVC 스트림의 데이터가 저장되는 HEVC Stream 및 새그먼트 종료 플래그를 나타내는 EOS로 구성될 수 있다.
여기서, 스트림은, HQ 또는 MQ의 단위를 나타내며, LQ는 스트림 수가 1이며, 서브 이미지는 개수와 스트림 수가 동일하다. 또한, 새그먼트는 파서 버퍼에 담겨지는 단위를 나타내며, 하나의 새그먼트 안에 복수의 스트림이 포함될 수 있다.
디먹싱 모듈(320)은 해상도별(HQ, MQ, LQ) 디먹싱 채널이 마련되고, 서브 이미지 수만큼의 디먹싱 채널이 추가로 마련되어, 각각의 이미지 비트스트림을 디먹싱 하여 HEVC 스트림을 생성하고, 디코딩 모듈(330)에 전달할 수 있다.
다른 예들 들면, 디먹싱 모듈(320)은 파싱 채널의 수가 초고해상도의 이미지 타일 개수 + 고해상도의 이미지 타일 개수 + 서브 이미지 개수 + 1 개인 경우, 초고해상도의 이미지 타일 개수 + 고해상도의 이미지 타일 개수 + 서브 이미지 개수 + 1 개의 디먹싱 채널이 마련되어, 각각의 이미지 비트스트림을 디먹싱 하여 HEVC 스트림을 생성하고, 디코딩 모듈(330)에 전달할 수 있다.
여기서, HEVC 스트림은, 비디오 코덱인 HEVC(High-Efficiency Video Coding)을 지원하는 미디어 스트림을 의미한다.
또한, 이때, 각각의 이미지 패킷은, 스트림의 타입이 초고해상도(HQ), 고해상도(MQ), 저해상도(LQ) 및 서브 이미지(SUB) 중 어느 타인인지 나타내는 Type, 초고해상도(HQ) 타일의 인텍스인 StreamIdx, 새그먼트의 인덱스인 SegIdx, 새그먼트의 수를 나타내는 SegNum, 현재 타임 스탬프를 나타내는 PTS, 스트림의 기간을 나타내는 Duration, 사용 중인 타입 스탬프의 Numerator 및 Denominator, HEVC 스트림의 데이터가 저장되는 HEVC Stream 및 HEVC 스트림의 크기를 나타내는 Stream Size로 구성될 수 있다.
디코딩 모듈(330)은 저해상도 이미지, 초고해상도 이미지, 고해상도 이미지 및 서브 이미지를 병렬적으로 생성할 수 있다.
구체적으로, 디코딩 모듈(330)은, 파싱 채널 및 디먹싱 채널의 수가 초고해상도의 이미지 타일 개수 + 고해상도의 이미지 타일 개수 + 서브 이미지 개수 + 1 개인 경우, 초고해상도의 이미지 타일 개수 + 고해상도의 이미지 타일 개수 + 서브 이미지 개수 + 1 개의 디코딩 채널이 마련되어, 저해상도 이미지, 초고해상도 이미지, 고해상도 이미지 및 서브 이미지를 병렬적으로 생성할 수 있다.
랜더러 모듈(340)은 사용자의 관심영역이 초고해상도 또는 고해상도 이미지로 구성되고, 관심영역의 주변영역이 저해상도 이미지로 구성되는 제1 이미지를 생성할 수 있다.
구체적으로 랜더러 모듈(340)은, 사용자의 시점(View)에 따라 사용자의 관심영역을 설정하고, 설정된 관심영역 이외에 영역을 주변영역으로 설정하여, 제1 이미지를 생성할 수 있다.
다른 예를 들면, 랜더러 모듈(340)은, 사용자의 관심영역이 설정되면, 설정된 관심영역으로부터 기설정된 범위 이내의 영역을 제1 주변영역으로 설정하고, 관심영역 및 제1 주변영역 이외에 영역을 제2 주변영역으로 설정하여, 관심영역이 초고해상도 이미지로 구성되면, 제1 주변영역이 고해상도 이미지로 구성되고, 제2 주변영역이 저해상도 이미지로 구성되는 제1 이미지를 생성할 수 있다.
그리고 랜더러 모듈(340)은, 제1 이미지가 생성되면, 제1 이미지에 서브 이미지를 부가하여 제2 이미지를 생성할 수 있다.
이를 통해, 타일 기반 스트리밍 서비스 제공시, 초고화질 영상을 제공하며, 사용자의 FOV 뷰 스위칭시 지연이 최소화 되도록 할 수 있으며, 상업적인 목적을 갖는 광고 또는 해당 영상과 관련된 추천영상을 함께 스트리밍하여, 유연한 서비스의 제공이 가능하도록 할 수 있다.
한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (12)

  1. 비디오를 다운샘플링한 후 하나의 비디오 인코더로 인코딩하여 저해상도의 이미지 비트스트림을 생성하고, 비디오를 N1xM1개의 타일로 공간 분할한 후, 복수의 비디오 인코더로 인코딩하여 초고해상도의 이미지 비트스트림을 생성하며, 비디오를 N2xM2개의 타일로 공간 분할한 후, 복수의 비디오 인코더로 인코딩하여 고해상도의 이미지 비트스트림을 생성하는 단계;
    저해상도의 이미지 비트스트림, 초고해상도의 이미지 비트스트림 및 고해상도의 이미지 비트스트림을 각각의 파싱 채널을 통해 파싱하여, 저해상도 이미지, 초고해상도 이미지 및 고해상도 이미지를 병렬적으로 생성하는 단계; 및
    사용자의 관심영역이 초고해상도 또는 고해상도 이미지로 구성되고, 관심영역의 주변영역이 저해상도 이미지로 구성되는 제1 이미지를 생성하는 단계;를 포함하는 분할영상 분산 디코딩 방법.
  2. 청구항 1에 있어서,
    초고해상도 또는 고해상도 이미지 비트스트림이 생성된 이후, 하나 이상의 서브 미디어를 인코딩하여 서브 이미지 비트스트림을 생성하는 단계;
    서브 이미지 비트스트림을 파싱하여, 서브 미디어가 재구성된 서브 이미지를 생성하는 단계; 및
    제1 이미지에 서브 이미지를 부가하여 제2 이미지를 생성하는 단계;를 더 포함하는 것을 특징으로 하는 분할영상 분산 디코딩 방법.
  3. 청구항 2에 있어서,
    서브 이미지는,
    서브 미디어와 동일한 해상도의 이미지로 재구성되되,
    서브 미디어 및 서브 이미지는,
    제1 이미지의 해상도가 1024X1024인 경우, 해상도가 1920X1080인 것을 특징으로 하는 분할영상 분산 디코딩 방법.
  4. 청구항 2에 있어서,
    서브 이미지는,
    상업적인 목적을 갖는 광고정보 또는 해당 영상과 관련된 추천영상에 대한 정보가 포함되며,
    제1 이미지의 주변영역에 배치되도록 부가되는 것을 특징으로 하는 분할영상 분산 디코딩 방법.
  5. 청구항 1에 있어서,
    저해상도의 이미지 비트스트림, 초고해상도의 이미지 비트스트림 및 고해상도의 이미지 비트스트림을 파일로 저장하는 단계;를 더 포함하고,
    파일로 저장하는 단계는,
    초고해상도의 이미지 비트스트림의 파일정보에, HQ_tiles 태그가 부가되고,
    고해상도의 이미지 비트스트림의 파일정보에, MQ_tiles 태그가 부가되는 것을 특징으로 하는 분할영상 분산 디코딩 방법.
  6. 청구항 1에 있어서,
    비디오는,
    타일 기반 MPEG 영상이며,
    초고해상도 이미지는,
    제1 이미지의 해상도가 1024X1024인 경우, 각 타일당 해상도가 512X512이고,
    고해상도 이미지는,
    제1 이미지의 해상도가 1024X1024인 경우, 각 타일당 해상도가 256X256인 것을 특징으로 하는 특징으로 하는 분할영상 분산 디코딩 방법.
  7. 청구항 1에 있어서,
    제1 이미지를 생성하는 단계는,
    사용자의 시점(View)에 따라 사용자의 관심영역을 설정하고, 설정된 관심영역 이외에 영역을 주변영역으로 설정하는 것을 특징으로 하는 분할영상 분산 디코딩 방법.
  8. 청구항 7에 있어서,
    제1 이미지를 생성하는 단계는,
    사용자의 관심영역이 설정되면, 설정된 관심영역으로부터 기설정된 범위 이내의 영역을 제1 주변영역으로 설정하고, 관심영역 및 제1 주변영역 이외에 영역을 제2 주변영역으로 설정하여,
    관심영역이 초고해상도 이미지로 구성되면, 제1 주변영역이 고해상도 이미지로 구성되고, 제2 주변영역이 저해상도 이미지로 구성되는 것을 특징으로 하는 분할영상 분산 디코딩 방법.
  9. 청구항 1에 있어서,
    저해상도의 이미지 비트스트림, 초고해상도의 이미지 비트스트림 및 고해상도의 이미지 비트스트림 중 적어도 하나가 생성되면, 비디오에 대한 오디오를 분산 처리하지 않고 트랜스코딩하는 단계;를 더 포함하는 것을 특징으로 하는 분할영상 분산 디코딩 방법.
  10. 비디오를 다운샘플링한 후 하나의 비디오 인코더로 인코딩하여 저해상도의 이미지 비트스트림을 생성하고, 비디오를 N1xM1개의 타일로 공간 분할한 후, 복수의 비디오 인코더로 인코딩하여 초고해상도의 이미지 비트스트림을 생성하며, 비디오를 N2xM2개의 타일로 공간 분할한 후, 복수의 비디오 인코더로 인코딩하여 고해상도의 이미지 비트스트림을 생성하는 트랜스코딩부; 및
    저해상도의 이미지 비트스트림, 초고해상도의 이미지 비트스트림 및 고해상도의 이미지 비트스트림을 각각의 파싱 채널을 통해 파싱하여, 저해상도 이미지, 초고해상도 이미지 및 고해상도 이미지를 병렬적으로 생성하고, 사용자의 관심영역이 초고해상도 또는 고해상도 이미지로 구성되고, 관심영역의 주변영역이 저해상도 이미지로 구성되는 이미지를 생성하는 디코딩부;를 포함하는 분할영상 분산 디코딩 시스템.
  11. 입력 동영상을 분석하여 비트스트림 레벨에서 시간 분할하는 단계;
    시간 분할된 비디오를 다운샘플링한 후 하나의 비디오 인코더로 인코딩하여 저해상도의 이미지 비트스트림을 생성하고, 시간 분할된 비디오를 복수의 타일로 공간 분할한 후, 복수의 비디오 인코더로 인코딩하여 초고해상도 또는 고해상도의 이미지 비트스트림을 생성하고, 하나 이상의 서브 미디어를 인코딩하여 서브 이미지 비트스트림을 생성하는 단계;
    저해상도의 이미지 비트스트림 및 초고해상도 또는 고해상도의 이미지 비트스트림을 각각의 파싱 채널을 통해 파싱하여, 저해상도 이미지 및 초고해상도 이미지 또는 고해상도 이미지, 그리고 서브 이미지 비트스트림을 파싱하여, 서브 미디어가 재구성된 서브 이미지를 병렬적으로 생성하는 생성하는 단계; 및
    사용자의 관심영역이 초고해상도 또는 고해상도 이미지로 구성되고, 관심영역의 주변영역이 저해상도 이미지로 구성되되, 주변영역에 서브 이미지가 부가된 이미지를 생성하는 단계;를 포함하는 분할영상 분산 디코딩 방법.
  12. 입력 동영상을 분석하여 비트스트림 레벨에서 시간 분할하고, 시간 분할된 비디오를 다운샘플링한 후 하나의 비디오 인코더로 인코딩하여 저해상도의 이미지 비트스트림을 생성하고, 시간 분할된 비디오를 복수의 타일로 공간 분할한 후, 복수의 비디오 인코더로 인코딩하여 초고해상도 또는 고해상도의 이미지 비트스트림을 생성하고, 하나 이상의 서브 미디어를 인코딩하여 서브 이미지 비트스트림을 생성하는 트랜스코딩부; 및
    저해상도의 이미지 비트스트림 및 초고해상도 또는 고해상도의 이미지 비트스트림을 각각의 파싱 채널을 통해 파싱하여, 저해상도 이미지 및 초고해상도 이미지 또는 고해상도 이미지, 그리고 서브 이미지 비트스트림을 파싱하여, 서브 미디어가 재구성된 서브 이미지를 병렬적으로 생성하는 생성하고, 사용자의 관심영역이 초고해상도 또는 고해상도 이미지로 구성되고, 관심영역의 주변영역이 저해상도 이미지로 구성되되, 주변영역에 서브 이미지가 부가된 이미지를 생성하는 디코딩부;를 포함하는 분할영상 분산 디코딩 시스템.
PCT/KR2019/003179 2019-03-19 2019-03-19 타일 기반 스트리밍을 위한 분할영상 분산 디코딩 방법 및 시스템 WO2020189817A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2019-0031046 2019-03-19
KR1020190031046A KR102317938B1 (ko) 2019-03-19 2019-03-19 타일 기반 스트리밍을 위한 분할영상 분산 디코딩 방법 및 시스템

Publications (1)

Publication Number Publication Date
WO2020189817A1 true WO2020189817A1 (ko) 2020-09-24

Family

ID=72520935

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/003179 WO2020189817A1 (ko) 2019-03-19 2019-03-19 타일 기반 스트리밍을 위한 분할영상 분산 디코딩 방법 및 시스템

Country Status (2)

Country Link
KR (1) KR102317938B1 (ko)
WO (1) WO2020189817A1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112954398A (zh) * 2021-02-07 2021-06-11 杭州朗和科技有限公司 编码方法、解码方法、装置、存储介质及电子设备
CN113344781A (zh) * 2021-05-20 2021-09-03 Tcl华星光电技术有限公司 视频播放系统、组件及方法
CN113453086A (zh) * 2021-03-29 2021-09-28 北京国际云转播科技有限公司 多机位同步云导播方法、系统、存储介质和视频编码器
US11694655B2 (en) 2021-05-20 2023-07-04 Tcl China Star Optoelectronics Technology Co., Ltd. Video play system, video play device, and video play method
CN116634177A (zh) * 2023-06-16 2023-08-22 北京行者无疆科技有限公司 一种基于hdmi通信设备的视频通信解码处理方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102499900B1 (ko) * 2020-11-18 2023-02-15 주식회사 엘지유플러스 고해상도 영상의 스트리밍을 위한 영상 전송 장치와 영상 재생 장치 및 그 동작 방법
EP4329311A1 (en) * 2021-04-22 2024-02-28 LG Electronics Inc. Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
KR102516831B1 (ko) * 2021-04-26 2023-03-31 네이버 주식회사 싱글 스트림을 이용하여 관심 영역 고화질 영상을 제공하는 방법, 컴퓨터 장치, 및 컴퓨터 프로그램
KR102603220B1 (ko) * 2021-12-01 2023-11-16 주식회사 엘지유플러스 타일 기반 멀티뷰 영상을 재생하는 방법 및 이를 위한 장치
WO2023128491A1 (ko) * 2021-12-30 2023-07-06 주식회사 카이 다채널 영상을 전송하기 위한 시스템의 동작 방법 및 이를 수행하는 시스템
KR102641876B1 (ko) * 2023-06-27 2024-02-29 주식회사 인텔리빅스 관심비디오 동시재생 장치 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015102462A1 (ko) * 2014-01-06 2015-07-09 에스케이텔레콤 주식회사 다중 영상의 단일 비트 스트림 생성방법 및 생성장치
WO2016171404A1 (ko) * 2015-04-22 2016-10-27 삼성전자 주식회사 가상현실 스트리밍 서비스를 위한 영상 데이터를 송수신하는 방법 및 장치
WO2017161281A1 (en) * 2016-03-17 2017-09-21 Sony Interactive Enteratainment Inc. Spectating virtual reality (vr) environments associated with vr user interactivity
KR20180004029A (ko) * 2016-07-01 2018-01-10 에스케이텔레콤 주식회사 고해상도 영상 스트리밍을 위한 영상 비트스트림 생성방법 및 장치
US20180035172A1 (en) * 2016-07-29 2018-02-01 Mediatek Inc. Method and apparatus for streaming video content

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5465620B2 (ja) * 2010-06-25 2014-04-09 Ｋｄｄｉ株式会社 映像コンテンツに重畳する付加情報の領域を決定する映像出力装置、プログラム及び方法
US20160150212A1 (en) * 2014-11-26 2016-05-26 Sony Corporation Live selective adaptive bandwidth
KR102524987B1 (ko) * 2016-07-29 2023-04-21 에스케이텔레콤 주식회사 스트리밍 컨텐츠 제공 방법, 스트리밍 컨텐츠 저장 방법 및 이를 위한 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015102462A1 (ko) * 2014-01-06 2015-07-09 에스케이텔레콤 주식회사 다중 영상의 단일 비트 스트림 생성방법 및 생성장치
WO2016171404A1 (ko) * 2015-04-22 2016-10-27 삼성전자 주식회사 가상현실 스트리밍 서비스를 위한 영상 데이터를 송수신하는 방법 및 장치
WO2017161281A1 (en) * 2016-03-17 2017-09-21 Sony Interactive Enteratainment Inc. Spectating virtual reality (vr) environments associated with vr user interactivity
KR20180004029A (ko) * 2016-07-01 2018-01-10 에스케이텔레콤 주식회사 고해상도 영상 스트리밍을 위한 영상 비트스트림 생성방법 및 장치
US20180035172A1 (en) * 2016-07-29 2018-02-01 Mediatek Inc. Method and apparatus for streaming video content

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112954398A (zh) * 2021-02-07 2021-06-11 杭州朗和科技有限公司 编码方法、解码方法、装置、存储介质及电子设备
CN113453086A (zh) * 2021-03-29 2021-09-28 北京国际云转播科技有限公司 多机位同步云导播方法、系统、存储介质和视频编码器
CN113344781A (zh) * 2021-05-20 2021-09-03 Tcl华星光电技术有限公司 视频播放系统、组件及方法
WO2022241892A1 (zh) * 2021-05-20 2022-11-24 Tcl华星光电技术有限公司 视频播放系统、组件及方法
US11694655B2 (en) 2021-05-20 2023-07-04 Tcl China Star Optoelectronics Technology Co., Ltd. Video play system, video play device, and video play method
CN113344781B (zh) * 2021-05-20 2023-12-05 Tcl华星光电技术有限公司 视频播放系统、组件及方法
CN116634177A (zh) * 2023-06-16 2023-08-22 北京行者无疆科技有限公司 一种基于hdmi通信设备的视频通信解码处理方法
CN116634177B (zh) * 2023-06-16 2024-02-20 北京行者无疆科技有限公司 一种基于hdmi通信设备的视频通信解码处理方法

Also Published As

Publication number Publication date
KR102317938B1 (ko) 2021-10-27
KR20200111410A (ko) 2020-09-29

Similar Documents

Publication Publication Date Title
WO2020189817A1 (ko) 타일 기반 스트리밍을 위한 분할영상 분산 디코딩 방법 및 시스템
US8649426B2 (en) Low latency high resolution video encoding
US7688889B2 (en) Methods, apparatus, and systems for insertion of overlay content into a video signal with transrating capabilities
US8774265B2 (en) Encoding apparatus, decoding apparatus, encoding method, decoding method, program of encoding method, program of decoding method, recording medium in which program of encoding method is recorded, and recording medium in which program of decoding method is recorded
WO2011142569A2 (en) Method and apparatus for transmitting and receiving layered coded video
WO2015005621A1 (ko) 비디오 신호 처리 방법 및 장치
WO2014171768A1 (ko) 비디오 신호 처리 방법 및 장치
US20010021227A1 (en) High definition television decoder
US11792452B2 (en) Transmission device, transmission method, reception device and reception method
JP2023143935A (ja) サブブロック区分モードのためのエンコーダ、デコーダ、および対応する方法
US10334219B2 (en) Apparatus for switching/routing image signals through bandwidth splitting and reduction and the method thereof
WO2018186646A1 (ko) 고화질 360도 vr 영상 처리 장치 및 방법
WO2014171770A1 (ko) 비디오 신호 처리 방법 및 장치
WO2012173317A1 (ko) 멀티 쓰레드 부호화 및 복호화 방법 및 이를 적용한 인코더, 디코더 및 컴퓨터로 읽을 수 있는 기록매체
WO2016006746A1 (ko) 초고해상도 영상 처리를 위한 장치
KR102312668B1 (ko) 비디오 트랜스코딩 시스템
KR100970992B1 (ko) 그래픽스 가속을 통한 고화질 영상의 스테레오스코픽 다중화 및 저비율 압축 전송 장치 및 그 방법과 그 프로그램 소스를 저장한 기록매체
WO2014171771A1 (ko) 비디오 신호 처리 방법 및 장치
US11356683B2 (en) Creating different video stream representations
WO2015072626A1 (ko) 다중 계층 비디오 코딩을 위한 계층 간 참조 픽쳐 생성 방법 및 장치
WO2010027142A2 (ko) 다시점 비디오의 송수신 시스템 및 방법
US20240048768A1 (en) Method and apparatus for generating and processing media file
JPH1185966A (ja) 画像信号多重化装置および方法、画像信号逆多重化装置および方法、並びに伝送媒体
WO2015009092A1 (ko) 비디오 신호 처리 방법 및 장치
RU2787713C2 (ru) Способ и устройство предсказания блока цветности

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19920239

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19920239

Country of ref document: EP

Kind code of ref document: A1