KR20170101227A - 고프레임율-저프레임율 전송 기술 - Google Patents

고프레임율-저프레임율 전송 기술 Download PDF

Info

Publication number
KR20170101227A
KR20170101227A KR1020177018188A KR20177018188A KR20170101227A KR 20170101227 A KR20170101227 A KR 20170101227A KR 1020177018188 A KR1020177018188 A KR 1020177018188A KR 20177018188 A KR20177018188 A KR 20177018188A KR 20170101227 A KR20170101227 A KR 20170101227A
Authority
KR
South Korea
Prior art keywords
video content
encoding mode
lfr
mode designation
content segment
Prior art date
Application number
KR1020177018188A
Other languages
English (en)
Inventor
티에리 보렐
삐에르 유구 루티에르
윌리암 레드만
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from PCT/US2015/029149 external-priority patent/WO2015183480A1/en
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20170101227A publication Critical patent/KR20170101227A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

비디오 콘텐츠 세그먼트를 전송하기 위한 방법은 각각 정적 장면 및 모션이 있는 장면을 갖는 비디오 콘텐츠 세그먼트에 대해 저프레임율(Low Frame Rate, LFR) 및 고프레임율(High Frame Rate, HFR) 인코딩 모드 지정을 제공하는 단계를 포함한다. 각각의 비디오 콘텐츠 세그먼트는 이의 인코딩 모드 지정에 따라 인코딩되고, 이후 디코더에 의한 검색 및 디코딩을 가능하게 하기 위해 이의 인코딩 모드 지정과 함께 전송된다. 인코딩된 비디오 콘텐츠는 현재의 인코딩을 의식하지 못하는 장비에 의한 LFR 콘텐트로서의 처리를 위해 LFR 콘텐츠로 나타난다.

Description

고프레임율-저프레임율 전송 기술{HIGH FRAME RATE-LOW FRAME RATE TRANSMISSION TECHNIQUE}
본 발명은 이미지 디테일을 유지하면서 고해상도 콘텐츠를 전송하는 기술에 관한 것이다.
이전에, 텔레비전 방송사는 표준 화질 콘텐츠를 고화질(HD)로 변환했고, 현재는 많은 텔레비전 방송사들이 HD 콘텐츠를 4K와 같이 높은 해상도 및 사진당 2160 p 라인의 해상도를 갖는 초 고화질(UHD) 콘텐츠로 변환한다. 더욱 높은 해상도의 UHD 콘텐츠는 정적 장면에서 더욱 높은 수준의 디테일을 제공하지만, 장면 자체 내에 또는 카메라의 움직임으로 인해 모션이 존재하면 모션 블러(motion blur)가 발생하고, 이는 움직이는 물체의 디테일에 대한 자각을 크게 감소시킨다. 이러한 상황에서, 콘텐츠는 디테일 렌더링 관점에서 더 이상 4K 특성을 유지하지 않는다. 이러한 모션 블러를 보완하기 위해 셔터가 열려있는 시간을 줄이는 것은 유도된 흔들거림(judder)이 보기에 불편해지므로 실현 가능한 해결책을 제공하지 못한다. 현재, 실현 가능한 유일한 해결책은 적절한 셔터 각도(180° 이상)를 유지하면서 장면의 샘플링 주파수를 높이는 것을 필요로 한다. 그러나, 현재의 많은 전송 장치가 이러한 포맷을 지원하지 않기 때문에, 고해상도 및 고프레임율(예를 들어, 4K/120 fps)로 이벤트를 촬영하고 전송하는 것은 불가능하지는 않더라도 어렵게 된다. 이러한 포맷을 지원할 수 있는 장치를 사용하는 경우에도, 이러한 포맷으로 콘텐츠를 전송하는 것은 대역폭 측면에서 매우 많은 비용이 든다. 이러한 이유로, 방송사와 케이블 운영자는 동일한 대역폭을 소비하는 오직 하나의 4K/120 fps 채널을 제공하기보다는 고정된 대역폭을 다수(예를 들어, 네 개)의 4K/30 fps 채널로 할당하는 것을 선호한다.
따라서, 움직이는 물체에 대해서도 디테일 렌더링을 유지하면서 고화질 콘텐츠(4K)를 전송하는 기술에 대한 필요성이 있다.
본 원리의 목적은 특히 동영상에 대한 이미지 디테일을 유지하면서 고화질 비디오를 전송하는 기술을 제공하는 것이다.
본 원리의 또 다른 목적은 저프레임율 및 고프레임율 비디오 콘텐츠를 교대로 전송하기 위한 기술을 제공하는 것이다.
간략하게, 본 원리의 일 양태에 따르면, 비디오 콘텐츠를 전송하기 위한 방법 및 장치 및 시스템은 콘텐츠가 고해상도의 정적 장면 또는 모션이 있는 장면을 포함하는지 여부를 지정한다. 비디오 콘텐츠는 지정에 따라 인코딩됨으로써 정적 장면이 있는 비디오 콘텐츠는 저프레임율(Low Frame Rate, LFR) 모드로 인코딩되는 반면, 모션이 있는 비디오 콘텐츠는 고프레임율(High Frame Rate, HFR) 모드로 인코딩된다. 이후, 디코더에 의한 검색 및 디코딩을 가능하게 하기 위해, 인코딩된 비디오 콘텐츠는 콘텐츠 지정과 함께 전송된다.
도 1은 본 원리에 따라 비디오 콘텐츠를 인코딩, 송신 및 디코딩하기 위한 본 원리의 일 양태에 따른 시스템의 개략적인 블록도를 도시하고;
도 2는 도 1의 시스템에 의해 고프레임율(HFR) 모드로 인코딩된 모션이 있는 비디오 콘텐츠의 일부의 그래픽 묘사를 도시하고;
도 3은 도 1의 시스템에 의해 저프레임율(LFR) 모드로 인코딩된 정적 장면이 있는 비디오 콘텐츠의 일부의 시퀀스의 그래픽 묘사를 도시하고;
도 4는 각각 HFR 및 LFR 모드로 인코딩된 비디오 콘텐츠의 교대하는 시퀀스의 스트림을 도시하며, 각각의 비디오 콘텐츠 시퀀스는 인코딩 모드를 나타내는 지정을 갖고; 및
도 5는 인코딩 모드를 나타내는 각각의 시퀀스와 관련된 지정에 따른 디코딩 이후 도 4의 HFR 및 LFR 모드로 인코딩된 비디오 콘텐츠의 교대하는 시퀀스의 스트림을 도시한다.
본 원리의 일 양태에 따르면, 하이브리드 콘텐츠 전송 기술은 저프레임율(LFR) 모드(즉, 4K/30 fps)에서 고해상도로 비디오의 정적 장면을 전송한다. 반대로, 본 원리의 기술에 따르면, 비디오 콘텐츠에서 모션이 있는 장면은 고프레임율(HFR) 모드(즉, HD/120 fps))로 전송되며 .이러한 장면은 LFR 이미지 블록(즉, 4K/30 fps) 내에 캡슐화(encapsulating)된다 도 1은 본 원리의 하이브리드 전송 기술을 실행하기 위한 시스템(10)을 도시하고 있다. 시스템(10)은 한 쌍의 텔레비전 카메라(14 및 16)를 각각 포함하는 복수의 비디오 소스로부터 비디오를 수신하는 인코더(12)를 포함한다. 도 1에 도시된 시스템(10)의 예시는 두 개의 카메라(14 및 16)를 갖는 것으로 도시되었지만, 시스템(10)은 더 많은 수의 카메라를 용이하게 수용할 수 있다.
도 1의 예시에서, 각각의 카메라(14 및 16)는 비디오 신호를 생성할 뿐만 아니라, 카메라 비디오 출력 신호가 정적 장면 또는 모션이 있는 장면을 포함하는지 여부를 나타내는, 통상적으로 "플래그(flag)" 형태의 지정을 생성한다. 예를 들어, 스포츠 경기를 방송하는 것과 같은 특정 응용에 대해, 예를 들어, 카메라(14)와 같은 하나의 카메라는 일반적으로 비교적 정적인 장면, 예를 들어, 군중의 장면만을 제공한다. 다른 카메라, 예를 들어, 카메라(16)는 일반적으로 모션이 있는 비디오 콘텐츠를 제공하며, 예를 들어, 카메라는 미식축구, 야구, 축구 등의 게임에 참여하는 선수들의 비디오 출력 신호를 제공한다.
도 1에 도시된 바와 같이, 각각의 카메라(14 및 16)에 의해 제공되는 지정은 일반적으로 비디오 출력 신호와는 별개인 신호(예를 들어, 플래그)의 형태를 취한다. 그러나, 각각의 카메라의 비디오 신호는 비디오 신호가 정적 이미지 또는 모션이 있는 이미지인지를 나타내는 정보를 포함할 수 있다. 비디오 신호 자체 내에 이러한 정보를 포함시키는 것은 따라서 별도의 지정 신호에 대한 필요성을 배제할 것이다.
인코더(12)는 카메라의 비디오 출력이 정적 장면 또는 모션이 있는 장면을 포함하는 것을 나타내는 첨부 지정 신호와 함께 각각의 카메라(14 및 16)로부터 비디오 출력 신호를 수신한다. 인코더(12)는 비디오 신호가 정지 이미지 또는 모션이 있는 장면을 포함하는 것과 관련하여 카메라의 비디오 출력 신호를 첨부한 지정에 따라 각각의 카메라(14 및 16)의 비디오 출력 신호를 인코딩한다. 따라서, 예를 들어, 카메라(14)의 비디오 출력 신호를 수신하면, 인코더(12)는, 해당 비디오 신호를 첨부한 지정이 비디오가 정적 장면을 갖는 것을 나타내는 경우, 해당 비디오 신호를 저프레임율(LFR) 모드(즉, 4K/30 fps)로 인코딩할 것이다. 반대로, 카메라(16)의 비디오 출력 신호를 수신하면, 인코더(12)는, 해당 카메라의 비디오 신호와 관련된 지정이 비디오가 모션을 갖는 것을 나타내는 경우, 해당 비디오 신호를 고프레임율(HFR) 모드(예를 들어, 4K, 120 fps)로 인코딩할 것이다. 인코더(12)는, 본원에 참조로 포함된 2014년 5월 30일자로 출원된 미국 특허 가출원 제 62/005,397호에 개시된 바와 같이, 비디오 신호의 장면을 LFR 이미지 블록 내에 캡슐화함으로써 카메라(16)로부터의 비디오 신호를 인코딩한다.
카메라(14 및 16)로부터의 비디오 출력 신호에 추가하여, 또는 그 대신에, 인코더(12)는 또한, 저장 장치 또는 텔레비전 스튜디오 방송 장비를 포함할 수 있는 오프라인 콘텐츠 소스(18)로 예시된 하나 이상의 오프라인 콘텐츠 소스로부터 비디오 신호를 수신하고 인코딩할 수 있다. 인코더(12)에 비디오 출력 신호를 제공하는 것 외에도, 각각의 오프라인 콘텐츠 소스(18)는 또한 오프라인 콘텐츠 소스로부터의 출력 비디오 신호가 정적인 장면 또는 모션이 있는 장면을 포함하는지 여부를 나타내는 지정을 제공한다. 각각의 카메라(14 및 16)에서와 마찬가지로, 오프라인 콘텐츠 소스(18)의 출력 비디오 신호 자체는, 출력 신호가 정적 장면 또는 모션이 있는 장면을 포함하는지 여부를 나타내는 정보를 포함할 수 있으며, 따라서 별도의 지정에 대한 필요성을 배제한다.
상기한 바와 같이, 카메라(14 및 16)는 일반적으로 각각 정적 장면 및 모션이 있는 장면에 대해 전용이므로, 이들 각각의 지정 신호가 고정될 수 있다. 대조적으로, 오프라인 콘텐츠 소스(18)는 모든 종류의 비디오 출력 신호를 제공할 수 있다. 실제로, 온라인 콘텐츠 소스(18)에 의해 출력되는 비디오의 특성에 따라, 조작자는 오프라인 소스의 비디오 출력 신호의 조작자의 평가를 기반으로 지정 설정을 수동으로 조정할 수 있다. 대안적으로, 오프라인 콘텐츠 소스(18)는, 예를 들어, 모션 분석 알고리즘을 사용하여 비디오 콘텐츠의 분석을 기반으로 이의 지정을 자동으로 생성할 수 있다.
인코더(12)는 카메라(14 및 16) 및/또는 오프라인 콘텐츠 소스(18)로부터 수신된 비디오 신호를 인코딩하여, 인코딩된 출력 신호 및 상기한 인코더의 비디오 출력 신호의 특성을 나타내는 첨부 지정을 생성한다. 네트워크(20)는 디스플레이 장치(24) 상에 디스플레이하기 위해 디코딩된 비디오 출력 신호를 생성하도록 디코딩을 위한 디코더(22)에 해당 신호의 지정과 함께 인코더(12)의 비디오 출력 신호를 전송한다. 실제로, 디코더(22)는 디스플레이 장치(24) 상에 디스플레이하기 위해 콘텐츠를 선택하기 위한 셋톱 박스의 일부 등을 포함할 수 있다. 일부 예에서, 디코더(22)는 디스플레이 장치(24)의 일부를 포함할 수 있다.
카메라(14, 16) 및 오프라인 콘텐츠 소스(18)와 관련하여 상기한 바와 같이, 인코더(12)는 인코더가 해당 신호를 저프레임율(LFR) 또는 고프레임율(HFR) 모드로 인코딩했는지 여부를 나타내는 정보를 이의 비디오 출력 신호에 포함시킬 수 있다. 신호가 LFR 또는 HFR 모드로 인코딩되었는지 여부를 나타내는 정보를 인코더의 비디오 출력 신호 내에 포함시키는 것은 따라서 별도의 지정을 생성할 필요성을 배제한다.
디코더(22)는 입력 신호가 LFR 또는 HFR로 인코딩되었는지 여부를 나타내는 첨부 지정에 따라 인코더로부터 수신된 비디오 신호를 디코딩한다. 상기한 바와 같이, 도 1의 디코더(22)에 의해 수신된 입력 비디오 신호 그 자체는 인코딩의 유형(LFR 또는 HFR) 정보를 포함할 수 있고, 따라서 인코딩 모드를 나타내는 별도의 지정에 대한 필요성을 배제한다. 인코딩 지정을 사용하거나, 또는 해당 지정이 없는 경우 입력 비디오 신호 자체로부터의 인코딩 정보를 이용하여, 디코더(22)는 입력 신호가 LFR 또는 HFR로 인코딩되었는지 여부를 기반으로 입력 비디오 신호를 정확하게 디코딩할 수 있다. LFR-인코딩된 비디오 신호의 경우, 각각의 고해상도 프레임은 그 자체의 LFR 이미지 블록에 포함되며, 이들 각각은 저프레임율로 디스플레이 장치(24)로 전달된다. HFR-인코딩된 비디오 신호의 경우, 본원에 참조로 포함된 2014년 5월 30일자로 출원된 미국 특허 가출원 제 62/005,397호에 개시된 바와 같이 다수의 프레임이 각각의 LFR 이미지 블록 내에 캡슐화된다. 디코더(22)는 고프레임율로 디스플레이 장치(24)에 전달하기 위해 고프레임율에서 다수의 프레임들 각각을 연속적으로 추출할 것이다. 실제로, 디스플레이(24)는. 디스플레이 장치가 별도의 LFR-모드 및 HFR-모드 비디오 신호를 수신할 수 있도록, 예를 들어, 고화질 멀티미디어 인터페이스(High Definition Multimedia Interface, HDMI)와 같은, 인코더(22)와의 디지털 인터페이스를 갖는다. 디스플레이(24)는 각각의 모드에서 비디오 신호를 적절하게 디스플레이하기 위해 LFR 및 HFR 모드 사이에서 실시간으로 스위칭하는 기능을 갖는다. 일부 실시형태에서, 고해상도 LFR 프레임 및 다수의 HFR-인코딩된 프레임을 포함하는 LFR 이미지 블록 둘 모두를 포함하는 모든 비디오 신호는 HDMI와 같은 인터페이스를 통해 디코더(22) 및 디스플레이(24) 둘 모두를 포함하는 모니터로 전송된다.
인코더(12)로부터의 모든 출력은, 본질적으로 더 높은 해상도의 LFR 이미지로서 원래 제공되었든지 또는 더 높은 해상도의 LFR 블록으로 인코딩된 HFR 이미지로 제공되었는지 간에, 더 높은 해상도의 LFR 스트림으로 나타난다는 것에 주목하라. 장점은 중간 구성 요소, 예를 들어, 통신 링크 및 비디오 또는 스트림 스위칭 요소(미도시)를 포함할 수 있는 네트워크(20)는, 특히 HFR/LFR 모드 지정이 스트림 내에 내장된 경우, 인코더(12)로부터의 스트림의 특성을 의식할 필요 없이 작동할 수 있다는 것이다. 보통의 고해상도 LFR 스트림 이외의 스트림을 처리하는데 필요한 임의의 요소가 디코더(22)에 의해 수신될 때까지는 그렇지 않다.
도 2는 본 원리의 일 양태에 따른 예시적인 프레임율 압축 과정(200)을 도시하고 있다. 도 2에 도시된 바와 같이, 도 1의 고프레임율 카메라(16)와 유사한 고프레임율(HFR) 카메라(205)는 피사체(207)를 향한 시야(206)를 갖는다. 동작시, 카메라(205)는 피사체의 HFR 이미지의 스트림을 포함하는 비디오 출력 신호(201)를 출력할 것이다. 카메라(205)에 의해 생성된 HFR 이미지 스트림의 일부(210)가 도 2에 나타나 있고 이는 개별적인 순차적 프레임(211-226)으로 구성된다.
도 2에 도시된 예에서, 피사체(207)는 말에 탄 사람을 포함한다. 개별적인 이미지들이 명확하게 식별 가능한 차이를 보이도록 피사체(207)의 이미지(211-226)가 도 2에 과장된 시간 비율로 나타나 있다. 도시된 이미지는 1887 년 에드워드 마이브리지(Eadweard Muybridge)의 "Jumping a hurdle, black horse"이라는 작품에서 나온 것이며, 이들 이미지는 많은 이들에게 친숙하고 본 원리를 이해하는데 도움이 되는 인식 가능한 순서를 제시하기 때문에 선정되었다.
HFR 이미지 스트림의 일부(210)의 이미지(211-226)는 단계(202) 동안 캡처링되고, 이때 이미지는 도 2의 카메라와는 별도로 도시되어 있지만 일반적으로 카메라(205) 내에 배치된 캡처 버퍼(230)에 축적된다. 처리의 용이함을 위해, 이미지(211-226)는 서브-시퀀스(231-234)로 그룹화된다. 이미지의 서브-시퀀스는 도 2에 도시된 인코딩 과정(230) 동안 도 1의 인코더(12)에 의해 인코딩된다. 본 원리의 일 양태에 따르면, 본원에 참조로 포함된 2014년 5월 30일자로 출원된 미국 특허 가출원 제 62/005,397호에 개시된 바와 같이, 인코딩 과정(203)은 고프레임율(HFR) 이미지를 저프레임율(LFR) 이미지 블록으로 패킹한다. 예를 들어, 서브-시퀀스들(231-234) 각각으로부터의 제 1 이미지는 단일 LFR 이미지 블록(241)으로 통합된다. 마찬가지로, 각각의 서브-시퀀스로부터의 제 2 이미지는 LFR 이미지 블록(242)으로 통합되고, 각각의 서브-시퀀스로부터의 제 3 이미지 및 제 4 이미지는 각각 LFR 이미지 블록(243 및 244)으로 패킹된다. LFR 이미지 블록을 생성하는 것 외에도, 도 2의 카메라(205)는 또한, 상기한 바와 같이, 카메라 출력 신호가 HFR 모드로 인코딩된 것을 나타내는 지정을 생성할 것이다.
이미지 압축을 사용하는 실시형태에서, LFR 이미지 블록(241-244)은, 예를 들어, 공지된 JPEG 또는 JPEG-2000 압축 방식을 사용하여 개별적으로 압축(예를 들어, "코딩")될 수 있다. 모션 기반 압축 방식, 예를 들어, MPEG-2 또는 H.264/MPEG-4가 선택되면, LFR 이미지 블록(241-244)은 인코딩된 "이미지의 그룹"(group of pictures, GOP)(240)을 형성할 것이다. 세 가지 종류의 프레임 인코딩, 즉, I-프레임, P-프레임 및 B-프레임이 모션-코딩된 비디오에서 공동으로 사용된다. I-프레임은 "인트라-코딩된(intra-coded)"다, 즉, 프레임은 다른 프레임에 대한 참조 없이 인코딩되므로 독립적일 수 있다. P-프레임 또는 "예측된 프레임(predicted frame)"은 이전의 참조 프레임에 대해 인코딩되고 효율적인 표현(일반적으로 I-프레임과 비교하여 더 작은 표현)을 위해 이들 사이의 중복을 이용한다. B-프레임 또는 "양방향 예측된(bi-directional predicted)" 프레임은 이전 및 이후의 참조 프레임 간의 유사성을 이용하여 인코딩된다. P-프레임 및 B-프레임에 대한 인코딩 과정의 상당 부분은 압축되는 프레임에도 존재하는 참조 프레임(들) 내의 영역을 식별하고, 이러한 공통 영역의 모션을 추정하며 이들을 모션 벡터로 인코딩하는 것이다. 일부 실시형태에서, 인코더는 참조로서 I-프레임뿐만 아니라 다른 P-또는 B-프레임도 사용할 수 있다. 적합할 때, 현재 프레임의 영역에 대한 모션 벡터 표현은 일반적으로 영역의 픽셀에 대한 더욱 명시적인 표현보다 더욱 압축적이다.
도 2에 도시된 LFR 이미지 블록(241-244)으로의 HFR 이미지(211-226)의 타일링(tiling)은 서브-시퀀스(231-234)의 시간적 순서화 및 순차적 특성을 유지하며, 이는 예를 들어 서브-시퀀스(232) 내의 연속적인 HFR 프레임 간의 차이가 LFR 프레임(241 내지 244)에서 합성된 후에 유지된다는 장점을 제공한다. 따라서, HFR이 LFR보다 높기 때문에, 연속적인 HFR 프레임들 간의 예상되는 모션 벡터는 일반적으로 더 낮은 프레임율에서 전통적으로 캡처된 시퀀스(미도시)에 대한 것보다 작다. 마찬가지로, HFR에서 피사체의 연속적인 이미지들 사이에 걸리는 시간이 짧기 때문에, 연속적으로 캡처된 프레임들 사이의 대응하는 유사한 영역들은 일반적으로 캡처 프레임율이 느린 경우보다 일반적으로 더 많은 유사성을 나타낸다. 따라서, 인코딩된 GOP(240)의 합성 이미지에서 모션을 이용하는 압축 방식이 특히 효과적일 것으로 예상되는데, 그 이유는 GOP(240)의 이미지 블록(241-244)이 LFR에서 전달될지라도, 이들 합성 이미지의 각각의 사분면 내에서, 연속적인 LFR 이미지 블록(241-244) 사이의 분명한 시간적 증가가 HFR에 해당되기 때문이다. 그러나, 현재의 인코딩된 GOP(240)의 최종 LFR 프레임(244) 및 그 다음의GOP(미도시)의 첫 번째 LFR 프레임(미도시) 사이의 각각의 사분면에는 시간적 불연속성이 있다. 도 2의 예에서의 이러한 시간적 불연속성의 크기는 LFR 간격의 3 배, 또는 HFR 간격의 22 배이다. 이러한 시간적 불연속성 때문에, 하나의 GOP의 끝과 다음 GOP(즉, B-프레임을 사용)의 시작 사이의 유사성을 이용하려고 하는 압축 방식은 특히 좋지 않고, 따라서, 본 실시형태에서의 전통적인 모션 인코딩 기술은 바람직하게는 I-프레임 및 P-프레임으로 제한된다.
도 3은 본 원리의 또 다른 양태에 따른 예시적인 인코딩 과정(300)을 도시하고 있다. 도 3에 도시된 바와 같이, 도 1의 LFR 카메라(14)와 유사한 저프레임율(LFR) 카메라(305)는 예시적으로 군중(307)으로 도시된 일반적으로 정적인 이미지를 캡처한다. 동작시, 카메라(305)는 군중(307)의 LFR 이미지의 스트림을 포함하는 비디오 출력 신호(301)를 출력할 것이다. 카메라(305)에 의해 생성된 LFR 이미지 스트림의 일부(310)는 LFR 프레임(310-316)의 시퀀스로 구성된다. 본 원리의 교시에 따르면, 인코딩 과정(300)은 저프레임율에서 전체 프레임의 형태로 더 높은 해상도의 LFR 이미지를 생성하는 반면, 2014년 5월 30일자로 출원된 미국 특허 가출원 제 62/005,397호에 개시된 바와 같이, 다수의 저해상도 HFR 이미지는 각각의 LFR 이미지 블록(241-244) 내에 캡슐화된다. LFR 이미지를 생성하는 것 외에도, 도 3의 카메라(305)는 또한, 상기한 바와 같이, 카메라 출력 신호가 LFR 모드로 인코딩된 것을 나타내는 지정을 생성할 것이다.
LFR 및 HFR 모드 모두에서 인코딩된 비디오 신호를 수신하는 도 1의 인코더(12)와 같은 인코더는, 도 4에 도시된 바와 같이, 예시적으로 LFR 시퀀스(4021 및 4022)로 도시된 LFR 이미지의 별도의 시퀀스 및 예시적으로 LFR 이미지 블록(4041 및 4042)으로 도시된 HFR 이미지 시퀀스를 캡슐화하는 LFR 이미지 블록으로 구성되는 멀티-프레임 출력 스트림을 출력할 것이다. 집합적으로, LFR 이미지 및 LFR 이미지 블록은 비디오 콘텐츠 세그먼트를 포함한다. LFR 프레임 시퀀스 및 LFR 이미지 블록(즉, 비디오 콘텐츠 세그먼트)은 각각 인코딩 모드(즉, 각각 LFR 및 HFR)를 나타내는 플래그(406 및 408)로 나타낸 관련된 지정을 갖는다. 도 4는 HFR 이미지 블록 및 LFR 이미지 시퀀스를 교대로 도시하고 있지만, 인코더는 임의의 길이의 연속적인 LFR 이미지 시퀀스 및 뒤따르는 임의의 수의 HFR 이미지 블록을 출력할 수 있거나 그 반대로 할 수 있다. 도 4는 LFR 이미지 시퀀스 및 HFR 이미지 블록이 각각 플래그(406 및 408)로 나타낸 별도의 지정을 갖는 것으로 도시하고 있지만, LFR 이미지 시퀀스 및 HFR 이미지 블록은 각각의 인코딩 모드를 나타내는 정보를 포함할 수 있고, 따라서 이미지 시퀀스 및 이미지 블록과는 별도의 그리고 이외의 지정을 배제한다.
도 5는 도 4와 관련하여 앞서 논의된 LFR 이미지 시퀀스(4021 및 4022) 및 LFR 이미지 블록(4041 및 4042)의 디코딩을 도시하고 있다. 도 1의 디코더(22)와 같은 디코더는, 각각의 입력 LFR 이미지 시퀀스 및 LFR 이미지 블록을 이의 첨부 지정에 따라(또는 이러한 지정이 없는 경우, 이에 통합된 인코딩 정보에 대한 각각의 이미지 시퀀스 또는 이미지 블록을 검사함으로써) 디코딩할 것이다. 디코딩 이후, 각각의 LFR 이미지 시퀀스(4021 및 4022)는 도 5의 스크린(5021)(네 개의 고해상도 프레임 중 하나만이 도시됨) 및 5022(네 개의 고해상도 프레임 중 하나만 도시됨)에서 디스플레이된다. 각각의 LFR 이미지 블록(4041 및 4042)은, 디스플레이 스크린(5041)(열 여섯 개의 저해상도 프레임 중 하나만 도시됨) 및 디스플레이 스크린(5042)(열 여섯 개의 저해상도 프레임 중 하나만 도시됨)에 도시된 바와 같이 고프레임율로 HFR 이미지를 디스플레이하기 위해, 각각의 LFR 이미지 블록 내에 캡슐화된 개별적인 저해상도 HFR 이미지를 연속적으로 스트리핑(stripping)하도록 디코딩된다.
상기한 바는 특히 동영상에 대한 이미지 디테일을 유지하면서 고화질 비디오를 유지하기 위해 저프레임율 및 고프레임율 비디오 콘텐츠를 교대로 전송하기 위한 기술을 설명한다.

Claims (22)

  1. 비디오 콘텐츠 세그먼트를 전송하기 위한 방법에 있어서, 상기 방법은,
    각각 정적 장면 및 모션이 있는 장면을 갖는 비디오 콘텐츠 세그먼트에 대해 저프레임율(Low Frame Rate, LFR) 및 고프레임율(High Frame Rate, HFR) 인코딩 모드 지정을 제공하는 단계;
    각각의 비디오 콘텐츠 세그먼트를 이의 인코딩 모드 지정에 따라 인코딩하는 단계; 및
    디코더에 의한 검색 및 디코딩을 가능하게 하기 위해, 인코딩된 비디오 콘텐츠를 이의 인코딩 모드 지정과 함께 전송하는 단계를 포함하는 것을 특징으로 하는 방법.
  2. 제 1 항에 있어서,
    HFR 인코딩 모드 지정을 갖는 비디오 콘텐츠 세그먼트는 다수의 HFR 이미지를 LFR 이미지 블록 내에 캡슐화(encapsulating)함으로써 인코딩되는 것을 특징으로 하는 방법.
  3. 제 1 항에 있어서,
    LFR 인코딩 모드 지정을 갖는 비디오 콘텐츠 세그먼트는 적어도 하나의 LFR 이미지의 시퀀스를 생성하도록 인코딩되는 것을 특징으로 하는 방법.
  4. 제 1 항에 있어서,
    인코딩 모드 지정은 비디오 콘텐츠 세그먼트와는 별도의 인코딩 모드 지정을 생성하는 단계를 포함하는 것을 특징으로 하는 방법.
  5. 제 1 항에 있어서,
    인코딩 모드 지정은 비디오 콘텐츠 세그먼트 내에 인코딩 모드 지정을 포함시키는 단계를 포함하는 것을 특징으로 하는 방법.
  6. 수신된 비디오 콘텐츠 세그먼트를 처리하기 위한 방법에 있어서, 상기 방법은,
    각각의 수신된 비디오 콘텐츠 세그먼트에 대해, 해당 세그먼트가 각각 정적 장면 또는 모션이 있는 장면을 포함하는지 여부를 나타내는 저프레임율(Low Frame Rate, LFR) 및 고프레임율(High Frame Rate, HFR) 인코딩 모드 지정 중 하나를 결정하는 단계;
    각각의 비디오 콘텐츠 세그먼트를 이의 인코딩 모드 지정에 따라 디코딩하는 단계; 및
    각각의 디코딩된 비디오 콘텐츠 세그먼트를 디스플레이 장치에 제공하는 단계를 포함하는 것을 특징으로 하는 방법.
  7. 제 6 항에 있어서,
    HFR 인코딩 모드 지정을 갖는 비디오 콘텐츠 세그먼트는 LFR 이미지 블록 내의 캡슐화로부터 다수의 HFR 이미지를 스트리핑(stripping)함으로써 디코딩되는 것을 특징으로 하는 방법.
  8. 제 6 항에 있어서,
    LFR 인코딩 모드 지정을 갖는 비디오 콘텐츠 세그먼트는 적어도 하나의 LFR 이미지의 시퀀스를 생성하도록 디코딩되는 것을 특징으로 하는 방법.
  9. 제 6 항에 있어서,
    인코딩 모드 지정은 비디오 콘텐츠 세그먼트와는 별도의 인코딩 모드 지정을 수신하는 단계를 포함하는 것을 특징으로 하는 방법.
  10. 제 6 항에 있어서,
    상기 인코딩 모드 지정은 통합된 인코딩 모드 지정에 대해 비디오 콘텐츠 세그먼트를 검사하는 단계를 포함하는 것을 특징으로 하는 방법.
  11. (1) 정적 장면 및 모션이 있는 장면을 갖는 수신된 비디오 콘텐츠 세그먼트에 대해 각각 저프레임율(Low Frame Rate, LFR) 및 고프레임율(High Frame Rate, HFR) 인코딩 모드 지정을 수신하고, 및
    (2) 각각의 비디오 콘텐츠 세그먼트를 이의 인코딩 모드에 따라 인코딩하도록 구성된 인코더를 포함하는 장치.
  12. 제 11 항에 있어서,
    상기 인코더는 다수의 HFR 이미지를 LFR 이미지 블록 내에 캡슐화함으로써 HFR 인코딩 모드 지정을 갖는 비디오 콘텐츠 세그먼트를 인코딩하는 것을 특징으로 하는 장치.
  13. 제 11 항에 있어서,
    상기 인코더는 적어도 하나의 LFR 이미지의 시퀀스를 생성하도록 LFR 인코딩 모드 지정을 갖는 비디오 콘텐츠 세그먼트를 인코딩하는 것을 특징으로 하는 장치.
  14. 제 11 항에 있어서,
    상기 인코더는 비디오 콘텐츠 세그먼트와는 별도의 인코딩 모드 지정을 수신하는 것을 특징으로 하는 장치.
  15. 제 11 항에 있어서,
    상기 인코더는 수신된 비디오 콘텐츠 세그먼트의 일부로서 인코딩 모드 지정을 수신하는 것을 특징으로 하는 장치.
  16. (a) 각각의 수신된 인코딩된 비디오 콘텐츠 세그먼트에 대해, 해당 세그먼트가 각각 정적 장면 또는 모션이 있는 장면을 포함하는지 여부에 따라 저프레임율(Low Frame Rate, LFR) 및 고프레임율(High Frame Rate, HFR) 인코딩 모드 지정 중 하나를 설정하고, 및
    (b) 각각의 수신된 인코딩 비디오 콘텐츠 세그먼트를 이의 인코딩 모드에 따라 디코딩하도록 구성된 디코더를 포함하는 장치.
  17. 제 16 항에 있어서,
    상기 디코더는 LFR 이미지 블록 내의 캡슐화로부터 다수의 HFR 이미지를 스트리핑(stripping)함으로써 HFR 인코딩 모드 지정을 갖는 비디오 콘텐츠 세그먼트를 디코딩하는 것을 특징으로 하는 장치.
  18. 제 16 항에 있어서,
    상기 디코더는 적어도 하나의 LFR 이미지의 시퀀스를 생성하도록 LFR 인코딩 모드 지정을 갖는 비디오 콘텐츠 세그먼트를 디코딩하는 것을 특징으로 하는 장치.
  19. 제 16 항에 있어서,
    상기 디코더는 비디오 콘텐츠 세그먼트와는 별도의 인코딩 모드 지정을 수신하는 것을 특징으로 하는 장치.
  20. 제 16 항에 있어서,
    상기 디코더는 수신된 비디오 콘텐츠 세그먼트 내에서 통합된 인코딩 모드 지정을 검출할 수 있는 것을 특징으로 하는 장치.
  21. 제 1 항 내지 제 10 항 중 적어도 하나의 항에 따른 방법의 단계들을 구현하기 위한 프로세서에 의해 실행 가능한 프로그램 코드 명령을 포함하는 컴퓨터 프로그램.
  22. 비-일시적 컴퓨터 판독 가능 매체 상에 저장되고 제 1 항 내지 제 10 항 중 적어도 하나의 항에 따른 방법의 단계들을 구현하기 위한 프로세서에 의해 실행 가능한 프로그램 코드 명령을 포함하는 컴퓨터 프로그램 제품.
KR1020177018188A 2014-12-31 2015-12-22 고프레임율-저프레임율 전송 기술 KR20170101227A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP14307218.9 2014-12-31
EP14307218.9A EP3041233A1 (en) 2014-12-31 2014-12-31 High frame rate-low frame rate transmission technique
USPCT/US2015/029149 2015-05-05
PCT/US2015/029149 WO2015183480A1 (en) 2014-05-30 2015-05-05 High frame rate tiling compression technique
PCT/EP2015/080993 WO2016107792A1 (en) 2014-12-31 2015-12-22 High frame rate-low frame rate transmission technique

Publications (1)

Publication Number Publication Date
KR20170101227A true KR20170101227A (ko) 2017-09-05

Family

ID=52444077

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177018188A KR20170101227A (ko) 2014-12-31 2015-12-22 고프레임율-저프레임율 전송 기술

Country Status (6)

Country Link
US (1) US20180007355A1 (ko)
EP (2) EP3041233A1 (ko)
JP (1) JP6573673B2 (ko)
KR (1) KR20170101227A (ko)
CN (1) CN107113447A (ko)
WO (2) WO2016109201A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220000365A (ko) * 2020-06-25 2022-01-03 디즈니엔터프라이지즈,인크. 세그먼트 품질 안내 적응적 스트림 생성

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107710757B (zh) * 2015-06-04 2021-08-10 英特尔公司 用于缓慢运动视频记录的自适应批量编码
US10846142B2 (en) 2016-02-23 2020-11-24 Intel Corporation Graphics processor workload acceleration using a command template for batch usage scenarios
US11166034B2 (en) 2017-02-23 2021-11-02 Netflix, Inc. Comparing video encoders/decoders using shot-based encoding and a perceptual visual quality metric
US10917644B2 (en) 2017-02-23 2021-02-09 Netflix, Inc. Iterative techniques for encoding video content
US10742708B2 (en) 2017-02-23 2020-08-11 Netflix, Inc. Iterative techniques for generating multiple encoded versions of a media title
US11153585B2 (en) 2017-02-23 2021-10-19 Netflix, Inc. Optimizing encoding operations when generating encoded versions of a media title
US10666992B2 (en) 2017-07-18 2020-05-26 Netflix, Inc. Encoding techniques for optimizing distortion and bitrate
CN108377400A (zh) * 2018-03-07 2018-08-07 广州图普网络科技有限公司 一种图像传输优化方法、系统及其装置
FR3084552B1 (fr) 2018-07-30 2020-12-11 Bcom Procede de formation d'une sequence d'images de sortie a partir d'une sequence d'images d'entree, procede de reconstruction d'une sequence d'images d'entree a partir d'une sequence d'images de sortie, dispositifs, equipement serveur, equipement client et programmes d'ordinateurs associes

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2582665C (en) * 2001-09-12 2012-04-24 Matsushita Electric Industrial Co., Ltd. Picture coding method and picture decoding method
JP4196726B2 (ja) * 2003-05-14 2008-12-17 ソニー株式会社 画像処理装置および画像処理方法、記録媒体、並びに、プログラム
US20050201469A1 (en) * 2004-03-11 2005-09-15 John Sievers Method and apparatus for improving the average image refresh rate in a compressed video bitstream
KR100896279B1 (ko) * 2005-04-15 2009-05-07 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
US20090034857A1 (en) * 2005-07-22 2009-02-05 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
CN102176754B (zh) * 2005-07-22 2013-02-06 三菱电机株式会社 图像编码装置和方法、以及图像解码装置和方法
WO2008007760A1 (fr) * 2006-07-13 2008-01-17 Nec Corporation Dispositif de codage et de décodage, procédé de codage et procédé de décodage
US8582663B2 (en) * 2006-08-08 2013-11-12 Core Wireless Licensing S.A.R.L. Method, device, and system for multiplexing of video streams
US8345083B2 (en) * 2007-07-31 2013-01-01 Cisco Technology, Inc. Dynamic management of picture quality in a video conference with diversified constraints
US9225961B2 (en) * 2010-05-13 2015-12-29 Qualcomm Incorporated Frame packing for asymmetric stereo video
JP5950157B2 (ja) * 2012-05-18 2016-07-13 ソニー株式会社 画像処理装置および方法、並びに、プログラム
CN108965883B (zh) * 2012-06-28 2022-08-30 阿克西斯股份公司 使用虚拟帧内帧对视频内容进行编码的系统和方法
BR112015006323A2 (pt) * 2012-09-28 2017-07-04 Sony Corp dispositivo e método de processamento de imagem
WO2014097816A1 (ja) * 2012-12-18 2014-06-26 ソニー株式会社 画像処理装置及び画像処理方法
RU2018128647A (ru) * 2013-03-21 2018-10-05 Сони Корпорейшн Устройство кодирования изображения и способ и устройство декодирования изображения и способ
DE102014207607B4 (de) * 2013-04-25 2019-09-19 Avago Technologies International Sales Pte. Ltd. System und Verfahren zur Verarbeitung von Videodaten
US8982277B2 (en) * 2013-04-25 2015-03-17 Broadcom Corporation System and method for processing video data
AU2014288482A1 (en) * 2013-07-12 2015-02-26 Sony Corporation Image coding device and method
US20150163486A1 (en) * 2013-12-09 2015-06-11 Vixs Systems Inc. Variable bitrate encoding
JP6463041B2 (ja) * 2014-08-28 2019-01-30 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220000365A (ko) * 2020-06-25 2022-01-03 디즈니엔터프라이지즈,인크. 세그먼트 품질 안내 적응적 스트림 생성

Also Published As

Publication number Publication date
WO2016107792A1 (en) 2016-07-07
EP3041233A1 (en) 2016-07-06
US20180007355A1 (en) 2018-01-04
CN107113447A (zh) 2017-08-29
JP6573673B2 (ja) 2019-09-11
EP3241353A1 (en) 2017-11-08
JP2018510524A (ja) 2018-04-12
WO2016109201A1 (en) 2016-07-07

Similar Documents

Publication Publication Date Title
JP6573673B2 (ja) 高フレームレート−低フレームレート伝送技術
JP7309478B2 (ja) オーバーレイを伴うビデオを符号化するための方法およびシステム
KR102343700B1 (ko) 독립적으로 인코딩된 배경 업데이트들에 기초한 비디오 송신
KR102558495B1 (ko) Hls를 시그널링하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 컴퓨터 판독 가능한 기록 매체
KR101553680B1 (ko) 디지털 비디오 데이터를 인코딩하는 방법
US20240244220A1 (en) Mixed nal unit type based-video encoding/decoding method and apparatus, and method for transmitting bitstream
US11902556B2 (en) Mixed NAL unit type-based image encoding/decoding method and device, and method for transmitting bitstream
US11818380B2 (en) Image encoding/decoding method and device based on hybrid NAL unit type, and recording medium for storing bitstream
US20240259573A1 (en) Method and device for encoding/decoding image on basis of mixed nal unit type, and recording medium for storing bitstream
JP5332812B2 (ja) 動画符号化装置，及び、動画伝送システム
KR101609798B1 (ko) 동영상 판독 장치
KR20230027180A (ko) 픽처 출력 타이밍 정보를 시그널링하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 컴퓨터 판독가능한 기록매체