KR102377191B1 - 비트스트림 처리방법 및 장치 - Google Patents

비트스트림 처리방법 및 장치 Download PDF

Info

Publication number
KR102377191B1
KR102377191B1 KR1020207027795A KR20207027795A KR102377191B1 KR 102377191 B1 KR102377191 B1 KR 102377191B1 KR 1020207027795 A KR1020207027795 A KR 1020207027795A KR 20207027795 A KR20207027795 A KR 20207027795A KR 102377191 B1 KR102377191 B1 KR 102377191B1
Authority
KR
South Korea
Prior art keywords
bitstream
information
transcoded
unit
auxiliary information
Prior art date
Application number
KR1020207027795A
Other languages
English (en)
Other versions
KR20200124729A (ko
Inventor
짜오 우
밍 리
핑 우
Original Assignee
지티이 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 지티이 코포레이션 filed Critical 지티이 코포레이션
Publication of KR20200124729A publication Critical patent/KR20200124729A/ko
Application granted granted Critical
Publication of KR102377191B1 publication Critical patent/KR102377191B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H04L29/06—
    • H04L65/607—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25825—Management of client data involving client display capabilities, e.g. screen resolution of a mobile phone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Graphics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은, 비트스트림의 보조정보를 획득하는 단계-여기서, 보조정보는 트랜스코딩에 사용 가능한 비트스트림 정보 및 트랜스코딩을 지원 가능한 비트스트림 정보 중의 적어도 하나를 포함함-; 및 보조정보를 사용하여 비트스트림에 대해 트랜스코딩 작업을 수행하여, 트랜스코딩된 비트스트림을 생성하는 단계; 를 포함하는 비트스트림 처리방법을 제공한다. 본 발명은 비트스트림 처리장치 및 저장매체를 더 제공한다.

Description

비트스트림 처리방법 및 장치
본 출원은 2018년 02월 27일 중국특허청에 제출된 출원번호가 201810162825.1인 중국특허출원의 우선권을 주장하는 바, 해당 출원의 내용은 전부 참조로서 본 출원에 포함된다.
본 발명의 실시예는 멀티미디어 기술분야에 관한 것으로서, 예를 들면, 비트스트림 처리방법 및 장치에 관한 것이다.
멀티미디어 서비스가 발전함에 따라, 멀티미디어는 디지털 방송, 네트워크 미디어 및 모바일 미디어 등과 같은 다양한 분야에 널리 응용되고 있다. 이종 네트워크에서, 대량의 미디어 데이터는 고효율적인 미디어 데이터 배포 정책을 채택하여, 상이한 포맷 입력 요청를 갖는 단말설비에 적응함으로써, 사용자의 수요를 충족시킨다.
관련기술에는 두 가지 해결방법이 있는데, 한 가지 방법은 복수의 비트스트림을 저장하는 것이고, 다른 한 가지 방법은 실시간으로 트랜스코딩하는 것이다. 복수의 비트스트림을 저장하는 방법에 있어서, 해당 방안은 저장 공간을 점용해야 하므로, 저장할 비트스트림이 너무 많을 경우, 저장 공간이 부족할 수 있다. 실시간 트랜스코딩은, 비트스트림을 디코딩한 다음, 수요에 따라 다시 코딩하는 것으로서, 이러한 방법은 실시과정이 한 번의 완전한 디코딩과 한 번의 완전한 코딩을 수행하는 것에 해당되므로, 계산량이 많고 자원을 많이 점용하며, 트랜스코딩 효율이 낮다.
본 발명의 실시예는 트랜스코딩 효율을 향상시킬 수 있는 비트스트림 처리방법 및 장치를 제공한다.
일 실시예에서, 본 발명의 실시예는 비트스트림 처리방법을 제공하며, 해당 방법은,
비트스트림의 보조정보를 획득하는 단계-여기서, 상기 보조정보는 트랜스코딩에 사용 가능한 비트스트림 정보 및 트랜스코딩을 지원 가능한 비트스트림 정보 중의 적어도 하나를 포함함-; 및
상기 보조정보를 사용하여 상기 비트스트림에 대해 트랜스코딩 작업을 수행하여, 트랜스코딩된 비트스트림을 생성하는 단계; 를 포함한다.
본 발명의 실시예는 비트스트림 처리장치를 더 제공하며, 해당 장치는,
비트스트림의 보조정보를 획득하도록 구성된 획득모듈-여기서, 상기 보조정보는 트랜스코딩에 사용 가능한 비트스트림 정보 및 트랜스코딩을 지원 가능한 비트스트림 정보 중의 적어도 하나를 포함함-; 및
상기 보조정보를 사용하여 상기 비트스트림에 대해 트랜스코딩 작업을 수행하여, 트랜스코딩된 비트스트림을 생성하도록 구성된 처리모듈; 을 포함한다.
일 실시예에서, 본 발명의 실시예는 비트스트림 처리장치를 더 제공하며, 해당 장치는 메모리 및 프로세서를 포함하되, 상기 메모리에는 명령이 저장되고, 상기 명령이 상기 프로세서에 의해 실행될 때, 상기 임의의 실시예에 따른 방법을 구현하게 된다.
일 실시예에서, 본 발명의 실시예는 컴퓨터 판독가능 기억매체를 더 제공하며, 상기 컴퓨터 판독가능 기억매체에는 컴퓨터 실행가능 명령이 저장되고, 상기 컴퓨터 실행가능 명령이 실행될 때, 상기 임의의 실시예에 따른 방법을 구현하게 된다.
도면은 본 발명의 기술방안을 이해하기 위해 제공되는 것으로서, 명세서의 일부분을 구성하며, 본 출원의 실시예와 함께 본 발명의 기술방안을 해석하기 위한 것이며, 본 발명의 기술방안을 한정하지 않는다.
도 1은 본 발명의 실시예에서 제공한 비트스트림 처리방법의 흐름 개략도이며;
도 2는 본 발명의 실시예에서 제공한 비트스트림 처리장치의 구조 개략도이며;
도 3은 본 발명의 실시예에서 제공한 다른 비트스트림 처리장치의 구조 개략도이다.
서로 모순되지 않을 경우, 본 출원의 실시예 및 실시예의 특징들은 서로 임의로 조합될 수 있다.
도면의 흐름도에 도시된 단계들은 일련의 컴퓨터 실행가능 명령과 같은 컴퓨터 시스템에서 실행될 수 있다. 또한, 흐름도에는 논리적 순서가 도시되어 있지만, 일부 경우에는, 도시되거나 기술된 단계들을 여기서 설명된 순서와 다른 순서로 실행할 수 있다.
본 발명의 실시예는 비트스트림 처리방법을 제공하며, 도 1에 도시된 바와 같이, 해당 방법은 단계(110) 및 단계(120)를 포함한다.
단계(110)에서, 비트스트림의 보조정보를 획득한다.
여기서, 보조정보는 트랜스코딩에 사용 가능한 비트스트림 정보 및 트랜스코딩을 지원 가능한 비트스트림 정보 중의 적어도 하나를 포함한다.
일 실시예에서, 트랜스코딩에 사용 가능한 비트스트림 정보는 비트스트림의 코딩 유형, 비트스트림의 코딩 능력 레벨, 비트스트림의 비트 레이트, 비트스트림의 프레임 레이트, 비트스트림의 이미지 해상도, 비트스트림의 색 공간, 비트스트림의 휘도 색도 샘플링 포맷, 비트스트림의 동적 범위(dynamic range), 비트스트림의 코딩정보 및 비트스트림의 사용자 자체정의 정보 중의 적어도 하나를 포함하되; 여기서, 비트스트림의 코딩정보는 비트스트림의 블록정보를 포함하거나, 비트스트림의 코딩정보는 비트스트림의 모드 선택 정보, 비트스트림의 운동 추정 정보 및 비트스트림의 양자화 정보 중의 적어도 하나 및 비트스트림의 블록정보, 비트스트림의 잔차(Residual)를 포함하며; 비트스트림의 잔차는 트랜스코딩된 비트스트림에 사용 가능한 잔차, 또는 비트스트림과 트랜스코딩된 비트스트림에 사용 가능한 잔차의 차이 값을 포함한다.
일 실시예에서, 트랜스코딩을 지원 가능한 비트스트림 정보는 트랜스코딩된 비트스트림의 코딩 유형, 트랜스코딩된 비트스트림의 코딩 능력 레벨, 트랜스코딩된 비트스트림의 비트 레이트, 트랜스코딩된 비트스트림의 프레임 레이트, 트랜스코딩된 비트스트림의 이미지 해상도, 트랜스코딩된 비트스트림의 색 공간, 트랜스코딩된 비트스트림의 휘도 색도 샘플링 포맷, 트랜스코딩된 비트스트림의 동적 범위 및 트랜스코딩된 비트스트림의 사용자 자체정의 정보 중의 적어도 하나를 포함한다.
일 실시예에서, 코딩 유형은 부합되는 비디오 표준을 의미하되, 여기서, 비디오 표준은 고효율 비디오 코딩(High Efficiency Video Coding, HEVC)(H.265로도 칭함), 고급 비디오 코딩(Advanced Video Coding, AVC)(H.264로도 칭함), 네트워크 비디오 이미지 압축 표준(Moving Picture Experts Group, MPEG-4), 저 비트 레이트 비디오 코딩 표준(Low Bit Rate Video Coding, H.263), 디지털 비디오 디스크(Digital Video Disc, DVD)/비디오 콤팩트 디스크(Video Compact Disc, VCD)의 비디오 이미지 압축 표준MPEG2, 구글(Google)에서 개발한 오픈 포맷, 라이센스 비용이 없는 비디오 압축 표준(Next Gen Open Video, VP9), 마이크로소프트사에서 출시한 스트림 미디어 포맷 표준(Windows Media Video, WMV) 등일 수 있고; 능력 레벨은 디코더가 비트스트림을 정확하게 디코딩할 때 구비해야 할 능력 레벨을 의미하며; 비트 레이트는 2Mbps 또는 10Mbps 등일 수 있고; 프레임 주파수는 25fps, 30fps 등일 수 있으며; 이미지 해상도는 720p, 1080p 등일 수 있고; 색 공간은 색 표준 휘도, 색도, 농도(Luminance、Chrominance、Chroma, YUV), 또는 색 표준 레드 그린 블루(Red Green Blue, RGB) 등일 수 있으며; 휘도 색도 샘플링 포맷은 YUV444, YUV420 등일 수 있고; 동적 범위는 표준 동적 범위(Standard Dynamic Range, SDR), 또는 고 동적 범위 이미지(High-Dynamic Range, HDR) 등일 수 있다.
단계(120)에서, 보조정보를 사용하여 비트스트림에 대해 트랜스코딩 작업을 수행하여, 트랜스코딩된 비트스트림을 생성한다.
일 실시예에서, 보조정보가 비트스트림의 코딩 유형인 경우, 비트스트림의 코딩 유형이 지원 가능한 목표 코딩 유형을 획득하고; 수신단이 요청한 코딩 유형이 비트스트림의 코딩 유형과 같거나, 목표 코딩 유형에 포함되면, 비트스트림에 대해 트랜스코딩 작업을 수행하여, 트랜스코딩된 비트스트림을 생성한다. 보조정보가 비트스트림의 코딩 유형 및 트랜스코딩된 비트스트림의 코딩 유형인 경우, 완전한 코딩/디코딩을 수행할 것인지, 부분적인 코딩/디코딩을 수행할 것인지를 판단하고(즉 비트스트림의 코딩 유형과 트랜스코딩된 비트스트림의 코딩 유형의 일치 여부를 판단함); 부분적인 코딩/디코딩을 수행할 경우(즉 비트스트림의 코딩 유형과 트랜스코딩된 비트스트림의 코딩 유형이 일치함), 비트스트림의 코딩정보에 따라 비트스트림에 대해 트랜스코딩 작업을 수행하여, 트랜스코딩된 비트스트림을 생성한다.
보조정보가 비트스트림의 코딩 능력 레벨인 경우, 비트스트림의 코딩 능력 레벨이 지원 가능한 목표 코딩 능력 레벨을 획득하고; 수신단이 요청한 코딩 능력 레벨이 목표 코딩 능력 레벨 이하인 경우, 비트스트림에 대해 트랜스코딩 작업을 수행하여, 트랜스코딩된 비트스트림을 생성한다. 보조정보가 비트스트림의 코딩 능력 레벨 및 트랜스코딩된 비트스트림의 코딩 능력 레벨인 경우, 완전한 코딩/디코딩을 수행할 것인지, 부분적인 코딩/디코딩을 수행할 것인지를 판단하고, 후속 단계는 보조정보가 비트스트림의 코딩 유형 및 트랜스코딩된 비트스트림의 코딩 유형인 경우에 실행한 단계와 일치하므로, 여기서 더 이상 반복하여 서술하지 않는다.
보조정보가 비트스트림의 비트 레이트인 경우, 비트스트림의 비트 레이트가 지원 가능한 목표 비트 레이트를 획득하고; 보조정보가 비트스트림의 프레임 주파수인 경우, 비트스트림의 프레임 레이트가 지원 가능한 목표 프레임 주파수를 획득하며; 보조정보가 비트스트림의 이미지 해상도인 경우, 비트스트림의 이미지 해상도가 지원 가능한 목표 이미지 해상도를 획득하고; 보조정보가 비트스트림의 색 공간인 경우, 비트스트림의 색 공간이 지원 가능한 목표 색 공간을 획득하며; 보조정보가 비트스트림의 색도 샘플링 포맷인 경우, 비트스트림의 색도 샘플링 포맷이 지원 가능한 목표 색도 샘플링 포맷을 획득하고; 보조정보가 비트스트림의 색도 동적 범위인 경우, 비트스트림의 색도 동적 범위가 지원 가능한 목표 색도 동적 범위를 획득하며; 후속 단계는 보조정보가 비트스트림의 코딩 유형인 경우에 실행한 단계와 일치하므로, 여기서 더 이상 반복하여 서술하지 않는다.
보조정보가 비트스트림의 비트 레이트 및 트랜스코딩된 비트스트림의 비트 레이트인 경우, 보조정보가 비트스트림의 프레임 주파수 및 트랜스코딩된 비트스트림의 프레임 주파수인 경우, 또는, 보조정보가 비트스트림의 이미지 해상도 및 트랜스코딩된 비트스트림의 이미지 해상도인 경우, 또는, 보조정보가 비트스트림의 색 공간 및 트랜스코딩된 비트스트림의 색 공간인 경우, 또는, 보조정보가 비트스트림의 색도 샘플링 포맷 및 트랜스코딩된 비트스트림의 색도 샘플링 포맷인 경우, 또는, 보조정보가 비트스트림의 색도 동적 범위 및 트랜스코딩 비트스트림의 색도 동적 범위인 경우, 완전한 코딩/디코딩을 수행할 것인지, 부분적인 코딩/디코딩을 수행할 것인지를 판단하고, 후속 단계는 보조정보가 비트스트림의 코딩 유형 및 트랜스코딩된 비트스트림의 코딩 유형인 경우에 실행한 단계와 일치하므로, 여기서 더 이상 반복하여 서술하지 않는다.
보조정보가 비트스트림의 코딩정보인 경우, 트랜스코딩과 같은 코딩 과정에서 상기 코딩정보를 직접 사용하므로, 상기 코딩정보를 새로 생성하는 단계를 생략하고, 트랜스코딩된 비트스트림을 생성할 수 있다. 보조정보가 비트스트림의 잔차정보를 포함한 코딩정보인 경우, 부분적인 코딩/디코딩을 수행하고, 코딩 과정에서 비트스트림의 잔차정보를 직접 사용하여, 상기 비트스트림의 코딩정보를 추가하고, 잔차 및 상기 코딩정보를 새로 생성하는 단계를 생략하고, 트랜스코딩된 비트스트림을 생성한다. 보조정보가 비트스트림의 사용자 자체정의 정보 및 트랜스코딩된 비트스트림의 사용자 자체정의 정보 중의 적어도 하나인 경우, 구체적인 자체정의 정보에 따라 트랜스코딩 작업을 돕는다.
이하, 몇 가지 응용 시나리오의 실시예를 통해, 보조정보를 사용하여 비트스트림에 대해 트랜스코딩 작업을 수행하여, 트랜스코딩된 비트스트림을 생성하는 방법에 대해 설명하도록 한다.
실시예 1:
본 실시예에서, 보조정보가 비트스트림의 코딩 유형(비트스트림의 코딩 유형은 H.265/HEVC임) 및 트랜스코딩된 비트스트림의 코딩 유형(트랜스코딩된 비트스트림의 코딩 유형은 H.265/HEVC임)이라고 가정하고, 비트스트림의 코딩 유형과 트랜스코딩된 비트스트림의 코딩 유형이 동일하므로, 완전한 코딩/디코딩을 수행할 수도 있고, 부분적인 코딩/디코딩을 수행할 수도 있다.
일 실시예에서, 보조정보는 비트스트림의 코딩정보를 더 포함하므로, 비트스트림을 디코딩하여 재구성 이미지를 생성한 후, 트랜스코딩 중 코딩할 때 모드 선택 및 운동 추정 등 작업을 수행하지 않고, 비트스트림의 코딩정보를 직접 사용하여 코딩을 수행한다.
일 실시예에서, 보조정보는 트랜스코딩된 비트스트림의 잔차, 또는 비트스트림과 트랜스코딩된 비트스트림의 잔차의 차이 값을 더 포함하므로, 트랜스코딩 중 디코딩할 때, 재구성 작업은 필요없고 비트스트림의 잔차만을 필요로 하며, 트랜스코딩의 코딩 과정에서 비트스트림의 잔차를 직접 사용하여 트랜스코딩된 비트스트림의 잔차를 더하고, 트랜스코딩 후의 잔차를 생성하며, 비트스트림의 코딩정보를 추가하여 코딩하여 새로운 비트스트림을 생성하며, 모드 선택 및 운동 추정 등 작업을 수행할 필요가 없다.
실시예 2:
본 실시예에서, 보조정보가 비트스트림의 코딩 유형(비트스트림의 코딩 유형은 H.265/HEVC임) 및 트랜스코딩된 비트스트림의 코딩 유형(트랜스코딩된 비트스트림의 코딩 유형은 H.264/AVC임)이라고 가정하고, 비트스트림의 코딩 유형과 트랜스코딩된 비트스트림의 코딩 유형이 상이하며, 보조정보로부터 H.264/AVC의 사용 가능한 코딩정보가 파싱되지 않을 경우, 완전한 코딩/디코딩을 수행하고, 보조정보로부터 H.264/AVC의 사용 가능한 코딩정보가 파싱될 경우, 부분적인 코딩/디코딩을 수행할 수 있다.
일 실시예에서, 보조정보는 비트스트림의 코딩정보를 더 포함하며, 아울러, 코딩정보가 트랜스코딩된 비트스트림의 코딩 유형(H.264/AVC)이 사용 가능한 정보이므로, 비트스트림을 디코딩하여 재구성 이미지를 생성한 후, 다시 코딩할 때 모드 선택 및 운동 추정 등 작업을 수행할 필요없이, 비트스트림의 코딩정보를 직접 사용하여 코딩한다.
일 실시예에서, 보조정보는 트랜스코딩된 비트스트림의 잔차, 또는 비트스트림과 트랜스코딩된 비트스트림의 잔차의 차이 값을 더 포함하므로, 트랜스코딩 중 디코딩할 때 재구성 작업은 필요없고 비트스트림의 잔차만을 필요로 하며, 트랜스코딩의 코딩 과정에서 비트스트림의 잔차를 직접 사용하여 트랜스코딩된 비트스트림의 잔차를 더하고, 트랜스코딩 후의 잔차를 생성하며, 비트스트림의 코딩정보를 추가하여 코딩하여 새로운 비트스트림을 생성하며, 모드 선택 및 운동 추정 등 작업을 수행할 필요가 없다.
실시예 3:
본 실시예에서, 보조정보가 비트스트림의 색 공간(비트스트림의 색 공간은 YUV임) 및 트랜스코딩된 비트스트림의 색 공간(트랜스코딩된 비트스트림의 색 공간은 RGB임)인 것으로 가정하므로, 트랜스코딩 중, 비트스트림 재구성 이미지의 색 공간을 YUV에서 RGB로 전환한 다음 코딩 작업을 수행한다.
일 실시예에서, 보조정보는 비트스트림의 코딩정보를 더 포함하고, 이러한 코딩정보가 트랜스코딩된 비트스트림에 의해 트랜스코딩되어 사용되는 경우, 트랜스코딩의 코딩 과정에서 모드 선택 및 운동 추정 등 작업을 수행할 필요없이, 비트스트림의 코딩정보를 직접 사용하여 코딩을 수행한다.
실시예 4:
본 실시예에서, 보조정보가 비트스트림의 동적 범위(비트스트림의 동적 범위는 SDR임)와 트랜스코딩된 비트스트림의 동적 범위(트랜스코딩된 비트스트림의 동적 범위는 HDR임)인 것으로 가정하였으므로, 트랜스코딩 중 비트스트림 재구성 이미지의 동적 범위를 SDR에서 HDR로 전환한 다음, 코딩 작업을 수행한다. 일 실시예에서, 보조정보에는 표준동적 범위로부터 고 동적 범위로의 매핑 테이블이 운반될 수도 있고, 매핑 방식을 특정하는 정보가 운반될 수도 있다.
일 실시예에서, 보조정보는 비트스트림의 코딩정보를 더 포함하고, 이러한 코딩정보가 트랜스코딩된 비트스트림에 의해 트랜스코딩되어 사용되는 경우, 트랜스코딩의 코딩 과정에서 모드 선택 및 운동 추정 등 작업을 수행할 필요없이, 비트스트림의 코딩정보를 직접 사용하여 코딩한다.
실시예 5:
본 실시예에서, 보조정보가 비트스트림의 해상도(비트스트림의 해상도는 1080p임) 및 트랜스코딩된 비트스트림의 해상도(트랜스코딩된 비트스트림의 해상도는 720p임)인 것으로 가정하였으므로, 트랜스코딩 중, 비트스트림 재구성 이미지를 1080p에서 720p로 다운 샘플링한 다음, 코딩 작업을 수행한다. 일 실시예에서, 보조정보에는 다운 샘플링 필터링 테이블이 운반될 수도 있고, 필터링 방식을 특정하는 정보가 운반될 수도 있다.
일 실시예에서, 보조정보는 비트스트림의 코딩정보를 포함하고, 이러한 코딩정보가 트랜스코딩된 비트스트림에 의해 트랜스코딩되어 사용되는 경우, 트랜스코딩의 코딩 과정에서 모드 선택 및 운동 추정 등 작업을 수행할 필요없이, 비트스트림의 코딩정보를 직접 사용하여 코딩한다.
일 실시예에서, 보조정보는 트랜스코딩된 비트스트림의 잔차, 또는 비트스트림의 잔차를 다운 샘플링한 것과 트랜스코딩된 비트스트림의 잔차의 차이 값을 포함하므로, 트랜스코딩 중 디코딩은 재구성 작업이 필요없고, 비트스트림의 잔차만을 필요로 하며, 비트스트림의 잔차를 다운 샘플링하고, 트랜스코딩의 코딩 과정에서 비트스트림의 잔차의 다운 샘플링 값을 직접 사용하여 트랜스코딩된 비트스트림의 잔차를 더하고, 트랜스코딩 후의 잔차를 생성하고, 비트스트림의 코딩정보를 추가하여 코딩하여 새로운 비트스트림을 생성하며, 모드 선택 및 운동 추정 등 작업을 수행할 필요가 없다.
본 발명의 실시예에 따른 비트스트림 처리방법은, 비트스트림의 트랜스코딩에 사용 가능한 비트스트림 정보 및 트랜스코딩을 지원 가능한 비트스트림 정보 중의 적어도 하나를 포함하는 보조정보를 획득함으로써, 보조정보가 트랜스코딩에 사용 가능한 비트스트림 정보이든지 트랜스코딩을 지원 가능한 비트스트림 정보이든지 관계없이 트랜스코딩 작업에 도움을 제공할 수 있으므로, 트랜스코딩 효율을 향상시킨다.
일 실시예에서, 보조정보를 사용하여 비트스트림에 대해 트랜스코딩 작업을 수행하여, 트랜스코딩된 비트스트림을 생성한 단계 이후에,
생성된 트랜스코딩된 비트스트림에 따라 새로운 보조정보를 생성하는 단계; 및
생성된 새로운 보조정보를, 상기 생성된 트랜스코딩된 비트스트림에 부가하는 단계; 를 포함한다.
일 실시예에서, 해당 방법은, 상기 트랜스코딩된 비트스트림이 트랜스코딩되었음을 나타내기 위한 플래그비트 정보를, 생성된 트랜스코딩된 비트스트림에 부가하는 단계를 더 포함한다.
일 실시예에서, 생성된 새로운 보조정보를, 생성된 트랜스코딩된 비트스트림에 부가한 단계 이후에,
상기 트랜스코딩된 비트스트림이 트랜스코딩되었음을 나타내기 위한 플래그비트 정보를, 생성된 트랜스코딩된 비트스트림에 부가하는 단계를 더 포함한다.
일 실시예에서, 보조정보는 미리 설정된 식별자를 운반하는 데이터 유닛에 위치하되, 데이터 유닛은 비트스트림을 전송하는 보조정보 유닛, 시스템 계층 미디어 기술 유닛 및 미디어 파일 포맷에 포함된 미디어 기술 유닛을 포함한다.
일 실시예에서, 데이터 유닛이 비트스트림을 전송하는 보조정보 유닛이고, 비트스트림을 전송하는 보조정보 유닛이 보충 강화 정보(Supplemental Enhancement Information, SEI) 유닛인 경우, 보조정보는 SEI 유닛의 페이로드 유형 필드가 미리 설정된 식별자인 위치에 위치하며; 비트스트림의 보조정보를 획득하는 단계는,
비트스트림을 파싱하여, SEI 유닛을 획득하는 단계; 및
SEI 유닛의 페이로드 유형 필드가 미리 설정된 식별자인 위치에서 보조정보를 획득하는 단계; 를 포함한다.
일 실시예에서, SEI 유닛에서, 페이로드 유형 필드는 payloadType일 수 있고, 미리 설정된 식별자는 TRANSCODING_INFO일 수 있다. payloadSize는 페이로드 길이 필드일 수 있다. SEI_payload()는 SEI 유닛의 페이로드일 수 있다. TRANSCODING_INFO의 구조는 표 1에 나타낸 바와 같을 수 있다.
SEI_payload(payloadType, payloadSize ) { 기술자 Descriptor
......
if( payloadType = = TRANSCODING_INFO) {
......
transcoding_info( payloadSize );
......
}
}
표 1에 기반하면, 보조정보의 표시는 표 2에 나타낸 바와 같을 수 있다.
transcoding_info(payloadSize) { Descriptor
......
codec_info; ue(v)
bitrate_info; ue(v)
......
transcoding_codec_info; ue(v)
transcoding_bitrate_info; ue(v)
......
}
표 2에 나타낸 바와 같이, codec_info는 비트스트림의 코딩 유형 정보를 의미하고, bitrate_info는 비트스트림의 비트 레이트 정보를 의미하며, transcoding_codec_info는 트랜스코딩된 비트스트림의 코딩 유형 정보를 의미하고, transcoding_bitrate_info는 트랜스코딩된 비트스트림의 비트 레이트 정보를 의미한다.
일 실시예에서, 데이터 유닛이 비트스트림을 전송하는 보조정보 유닛이고, 비트스트림을 전송하는 보조정보 유닛이 비디오 응용 정보(Video Usability Information, VUI) 유닛인 경우, 보조정보는 VUI 유닛의 트랜스코딩 정보 마크 필드가 미리 설정된 값인 위치에 위치하며; 비트스트림의 보조정보를 획득하는 단계는,
비트스트림을 파싱하여, VUI 유닛을 획득하는 단계; 및 VUI 유닛의 트랜스코딩 정보 마크 필드가 미리 설정된 값인 위치에서 보조정보를 획득하는 단계; 를 포함한다.
일 실시예에서, VUI 유닛에서, 트랜스코딩 정보 마크 필드는 transcoding_info_flag일 수 있고, 미리 설정된 값은 1일 수 있다. transcoding_info_flag의 구조는 표 3에 나타낸 바와 같을 수 있다.
VUI_parameters( ) { Descriptor
......
transcoding_info_flag u(1)
if(transcoding_info_flag) {
......
codec_info; ue(v)
bitrate_info; ue(v)
......
transcoding_codec_info; ue(v)
transcoding_bitrate_info; ue(v)
......
｝
｝
표 3에 나타낸 바와 같이, codec_info는 비트스트림의 코딩 유형 정보를 의미하고, bitrate_info는 비트스트림의 비트 레이트 정보를 의미하며, transcoding_codec_info는 트랜스코딩된 비트스트림의 코딩 유형 정보를 의미하고, transcoding_bitrate_Info는 트랜스코딩된 비트스트림의 비트 레이트 정보를 의미한다. VUI_parameters()는 VUI 유닛 파라미터일 수 있다.
일 실시예에서, 시스템 계층 미디어 기술 유닛으로부터 보조정보를 획득할 수도 있고, 보조정보의 예시는 표 3에 나타낸 구조와 같다. 예를 들면, 전송 스트림의 기술자, 파일 포맷의 데이터 유닛(예를 들면 Box포맷의 데이터 유닛), 전송 스트림의 미디어 기술정보이며, 예를 들면, 미디어 프리젠테이션 기술(Media Presentation Description, MPD) 등 정보 유닛이다.
일 실시예에서, 본 발명의 실시예에 따른 비트스트림 처리방법 중의 보조정보는 복수의 트랜스코딩된 비트스트림을 생성하기 위한 복수 그룹의 정보를 포함할 수 있다.
일 실시예에서, 본 발명의 실시예에 따른 비트스트림 처리방법은, 입체 비디오의 처리에 응용될 수도 있으며, 비트스트림이 입체 비디오 데이터 중의 좌측 시야 정보이고, 운반하는 보조정보가 우측 시야에 관련되도록 설정되므로, 수신단이 입체 비디오를 요청하면 보조정보를 통해 우측 시야 비트스트림으로 보조적으로 트랜스코딩한 다음, 좌측 시야 비트스트림과 조합하여 입체 비트스트림으로서 수신단에 송신한다. 수신단이 우측 시야 비디오를 요청하면 보조정보를 통해 우측 시야 비트스트림으로 보조적으로 트랜스코딩하여, 직접 수신단에 송신한다.
일 실시예에서, 본 발명의 실시예에 따른 비트스트림 처리방법은, 관심 비디오의 처리에 응용될 수도 있으며, 비트스트림이 전경 비디오이고, 운반하는 보조정보가 사용자 관심 영역에 관련되도록 설정되므로, 수신단이 관심 영역의 비트스트림을 요청하면, 보조정보를 통해 관심 영역 비트스트림으로 보조적으로 트랜스코딩한 다음, 수신단에 송신한다.
일 실시예에서, 본 발명의 실시예에 따른 비트스트림 처리방법에 있어서, 가지고 있는 보조정보는 복수 그룹의 트랜스코딩에 사용 가능한 비트스트림 정보 또는 트랜스코딩을 지원 가능한 비트스트림 정보를 포함할 수 있고, 수신단의 요청에 따라, 상이한 트랜스코딩에 사용 가능한 비트스트림 정보 또는 트랜스코딩을 지원 가능한 비트스트림 정보를 사용할 수 있다.
본 발명의 실시예는 컴퓨터 판독가능 기억매체를 더 제공하며, 해당 기억매체에는 컴퓨터 실행가능 명령이 저장되고, 컴퓨터 실행가능 명령은 상기 임의의 실시예에 따른 방법을 실행하기 위한 것이다.
저장매체는 임의의 1종 또는 여러 종의 유형의 메모리 설비 또는 저장 설비이다. 용어 "저장매체"는, 장착매체, 예를 들면, 콤팩트디스크 읽기 전용 메모리(Compact Disc Read-Only Memory, CD-ROM), 플로피디스크 또는 테이프 장치 등 읽기 전용 메모리(Read-Only Memory, ROM); 동적 랜덤 액세스 메모리(Dynamic Random Access Memory, DRAM), 더블 데이터 레이트 랜덤 액세스 메모리(Double Data Rate Random Access Memory, DDR RAM), 정적 랜덤 액세스 메모리(Static Random-Access Memory, SRAM), 확장 데이터 출력 랜덤 액세스 메모리(Extended Data Output Random Access Memory, EDO RAM), 램버스 랜덤 액세스 메모리(Rambus Random Access Memory, Rambus RAM) 등 컴퓨터 시스템 메모리 또는 랜덤 액세스 메모리; 플래시 메모리, 자기매체(예를 들면, 하드디스크 또는 포토 메모리) 등 비휘발성 메모리; 레지스터 또는 기타 유사한 유형의 메모리 소자 등을 포함하는 것을 목적으로 한다. 저장매체는 기타 유형의 메모리 또는 이들의 조합을 포함할 수도 있다.
본 발명의 실시예는 비트스트림 처리장치를 제공하며, 도 2에 도시된 바와 같이, 해당 비트스트림 처리장치(2)는,
비트스트림의 보조정보를 획득하도록 구성된 획득모듈(210)-여기서, 보조정보는 트랜스코딩에 사용 가능한 비트스트림 정보 및 트랜스코딩을 지원 가능한 비트스트림 정보 중의 적어도 하나를 포함함-; 및
보조정보를 사용하여 비트스트림에 대해 트랜스코딩 작업을 수행하여, 트랜스코딩된 비트스트림을 생성하도록 구성된 처리모듈(220); 을 포함한다.
일 실시예에서, 획득모듈(210)은 또한, 생성된 트랜스코딩된 비트스트림에 따라 새로운 보조정보를 생성하도록 구성된다.
처리모듈(220)은 또한,
생성된 새로운 보조정보를, 생성된 트랜스코딩된 비트스트림에 부가하도록 구성된다.
일 실시예에서, 해당 비트스트림 처리장치(2)는 상기 트랜스코딩된 비트스트림이 트랜스코딩되었음을 나타내기 위한 플래그비트 정보를, 생성된 트랜스코딩된 비트스트림에 부가하도록 구성된 부가모듈(230)을 더 포함한다.
일 실시예에서, 보조정보는 미리 설정된 식별자를 운반하는 데이터 유닛에 위치하고, 데이터 유닛은 비트스트림을 전송하는 보조정보 유닛, 시스템 계층 미디어 기술 유닛 및 미디어 파일 포맷에 포함된 미디어 기술 유닛을 포함한다.
일 실시예에서, 트랜스코딩에 사용 가능한 비트스트림 정보는 비트스트림의 코딩 유형, 비트스트림의 코딩 능력 레벨, 비트스트림의 비트 레이트, 비트스트림의 프레임 레이트, 비트스트림의 이미지 해상도, 비트스트림의 색 공간, 비트스트림의 휘도 색도 샘플링 포맷, 비트스트림의 동적 범위, 비트스트림의 코딩정보 및 비트스트림의 사용자 자체정의 정보 중의 적어도 하나를 포함하되; 여기서, 비트스트림의 코딩정보는 비트스트림의 블록정보를 포함하거나, 비트스트림의 코딩정보는 비트스트림의 모드 선택 정보, 비트스트림의 운동 추정 정보 및 비트스트림의 양자화 정보 중의 적어도 하나 및 비트스트림의 블록정보, 비트스트림의 잔차를 포함하며; 비트스트림의 잔차는 트랜스코딩된 비트스트림에 사용 가능한 잔차, 또는 비트스트림과 트랜스코딩된 비트스트림에 사용 가능한 잔차의 차이 값을 포함한다.
일 실시예에서, 트랜스코딩을 지원 가능한 비트스트림 정보는 트랜스코딩된 비트스트림의 코딩 유형, 트랜스코딩된 비트스트림의 코딩 능력 레벨, 트랜스코딩된 비트스트림의 비트 레이트, 트랜스코딩된 비트스트림의 프레임 레이트, 트랜스코딩된 비트스트림의 이미지 해상도, 트랜스코딩된 비트스트림의 색 공간, 트랜스코딩된 비트스트림의 휘도 색도 샘플링 포맷, 트랜스코딩된 비트스트림의 동적 범위 및 트랜스코딩된 비트스트림의 사용자 자체정의 정보 중의 적어도 하나를 포함한다.
일 실시예에서, 데이터 유닛이 비트스트림을 전송하는 보조정보 유닛이고, 비트스트림을 전송하는 보조정보 유닛이 SEI 유닛인 경우, 보조정보는 SEI 유닛의 페이로드 유형 필드가 미리 설정된 식별자인 위치에 위치하며; 획득모듈(210)은,
비트스트림을 파싱하여, SEI 유닛을 획득하고;
SEI 유닛의 페이로드 유형 필드가 미리 설정된 식별자인 위치에서 보조정보를 획득하도록 구성된다.
일 실시예에서, 데이터 유닛이 비트스트림을 전송하는 보조정보 유닛이고, 비트스트림을 전송하는 보조정보 유닛이 VUI 유닛인 경우, 보조정보는 VUI 유닛의 트랜스코딩 정보 마크 필드가 미리 설정된 값인 위치에 위치하며; 획득모듈(210)은,
비트스트림을 파싱하여, VUI 유닛을 획득하고;
VUI 유닛의 트랜스코딩 정보 마크 필드가 미리 설정된 값인 위치에서 보조정보를 획득하도록 구성된다.
본 발명의 실시예에 따른 비트스트림 처리장치는, 비트스트림의 트랜스코딩에 사용 가능한 비트스트림 정보 및 트랜스코딩을 지원 가능한 비트스트림 정보 중의 적어도 하나를 포함하는 보조정보를 획득함으로써, 보조정보가 트랜스코딩에 사용 가능한 비트스트림 정보이든지 트랜스코딩을 지원 가능한 비트스트림 정보이든지 관계없이 트랜스코딩 작업에 도움을 제공할 수 있으므로, 트랜스코딩 효율을 향상시킨다.
실제 응용에 있어서, 획득모듈(210), 처리모듈(220) 및 부가모듈(230)은 모두 비트스트림 처리장치에 배치된 중앙 프로세서(Central Processing Unit, CPU)、마이크로 프로세서(Micro Processor Unit, MPU), 디지털 신호 프로세서(Digital Signal Processor, DSP) 또는 필드 프로그래머블 게이트 어레이(Field Programmable Gate Array, FPGA) 등에 의해 구현될 수 있다.
본 발명의 실시예는 비트스트림 처리를 구현하기 위한 장치를 더 제공하며, 도 3에 도시된 바와 같이, 해당 장치는 메모리(310) 및 프로세서(320)를 포함하되, 여기서, 메모리(310)에는,
비트스트림의 보조정보를 획득하는 명령-여기서, 보조정보는 트랜스코딩에 사용 가능한 비트스트림 정보 및 트랜스코딩을 지원 가능한 비트스트림 정보 중의 적어도 하나를 포함함-; 및
보조정보를 사용하여 비트스트림에 대해 트랜스코딩 작업을 수행하여, 트랜스코딩된 비트스트림을 생성하는 명령; 을 포함한, 프로세서(320)에 의해 실행 가능한 명령이 저장된다.
일 실시예에서, 메모리(310)에는,
생성된 트랜스코딩된 비트스트림에 따라 새로운 보조정보를 생성하는 명령; 및
생성된 새로운 보조정보를, 생성된 트랜스코딩된 비트스트림에 부가하는 명령; 을 포함한, 프로세서(320)에 의해 실행 가능한 명령이 더 저장된다.
일 실시예에서, 메모리(310)에는,
상기 트랜스코딩된 비트스트림이 트랜스코딩되었음을 나타내기 위한 플래그비트 정보를, 생성된 트랜스코딩된 비트스트림에 부가하는 명령을 포함한, 프로세서(320)에 의해 실행 가능한 명령이 더 저장된다.
일 실시예에서, 보조정보는 미리 설정된 식별자를 운반하는 데이터 유닛에 위치하고, 데이터 유닛은 비트스트림을 전송하는 보조정보 유닛, 시스템 계층 미디어 기술 유닛 및 미디어 파일 포맷에 포함된 미디어 기술 유닛을 포함한다.
일 실시예에서, 트랜스코딩에 사용 가능한 비트스트림 정보는 비트스트림의 코딩 유형, 비트스트림의 코딩 능력 레벨, 비트스트림의 비트 레이트, 비트스트림의 프레임 레이트, 비트스트림의 이미지 해상도, 비트스트림의 색 공간, 비트스트림의 휘도 색도 샘플링 포맷, 비트스트림의 동적 범위, 비트스트림의 코딩정보 및 비트스트림의 사용자 자체정의 정보 중의 적어도 하나를 포함하되; 여기서, 비트스트림의 코딩정보는 비트스트림의 블록정보를 포함하거나, 비트스트림의 코딩정보는 비트스트림의 모드 선택 정보, 비트스트림의 운동 추정 정보 및 비트스트림의 양자화 정보 중의 적어도 하나 및 비트스트림의 블록정보, 비트스트림의 잔차를 포함하며; 비트스트림의 잔차는 트랜스코딩된 비트스트림에 사용 가능한 잔차, 또는 비트스트림과 트랜스코딩된 비트스트림에 사용 가능한 잔차의 차이 값을 포함한다.
일 실시예에서, 트랜스코딩을 지원 가능한 비트스트림 정보는 트랜스코딩된 비트스트림의 코딩 유형, 트랜스코딩된 비트스트림의 코딩 능력 레벨, 트랜스코딩된 비트스트림의 비트 레이트, 트랜스코딩된 비트스트림의 프레임 레이트, 트랜스코딩된 비트스트림의 이미지 해상도, 트랜스코딩된 비트스트림의 색 공간, 트랜스코딩된 비트스트림의 휘도 색도 샘플링 포맷, 트랜스코딩된 비트스트림의 동적 범위 및 트랜스코딩된 비트스트림의 사용자 자체정의 정보 중의 적어도 하나를 포함한다.
일 실시예에서, 데이터 유닛이 비트스트림을 전송하는 보조정보 유닛이고, 비트스트림을 전송하는 보조정보 유닛이 SEI 유닛인 경우, 보조정보는 SEI 유닛의 페이로드 유형 필드가 미리 설정된 식별자인 위치에 위치하며, 메모리(310)에는,
비트스트림을 파싱하여, SEI 유닛을 획득하는 명령; 및
SEI 유닛의 페이로드 유형 필드가 미리 설정된 식별자인 위치에서 보조정보를 획득하는 명령; 을 포함한, 프로세서(320)에 의해 실행 가능한 명령이 저장된다.
일 실시예에서, 데이터 유닛이 비트스트림을 전송하는 보조정보 유닛 중의 VUI 유닛인 경우, 보조정보는 VUI 유닛의 트랜스코딩 정보 마크 필드가 미리 설정된 값인 위치에 위치하며, 메모리(310)에는,
비트스트림을 파싱하여, VUI 유닛을 획득하는 명령; 및
VUI 유닛의 트랜스코딩 정보 마크 필드가 미리 설정된 값인 위치에서 보조정보를 획득하는 명령; 을 포함한, 프로세서(320)에 의해 실행 가능한 명령이 저장된다.

Claims (18)

  1. 비트스트림의 보조정보를 획득하는 단계-여기서, 상기 보조정보는 트랜스코딩에 사용 가능한 비트스트림 정보 및 트랜스코딩을 지원 가능한 비트스트림 정보 중의 적어도 하나를 포함함-; 및
    상기 보조정보를 사용하여 상기 비트스트림을 트랜스코딩하여, 트랜스코딩된 비트스트림을 생성하는 단계; 를 포함하고,
    상기 보조정보는 미리 설정된 식별자를 운반하는 데이터 유닛에 위치하고, 상기 데이터 유닛은 비트스트림을 전송하는 보조정보 유닛, 시스템 계층 미디어 기술 유닛 및 미디어 파일 포맷에 포함된 미디어 기술 유닛을 포함하며,
    상기 트랜스코딩에 사용 가능한 비트스트림 정보는 상기 비트스트림의 코딩 능력 레벨, 상기 비트스트림의 동적 범위, 상기 비트스트림의 코딩정보 중 적어도 하나를 포함하되;
    여기서, 상기 비트스트림의 코딩정보는 비트스트림의 블록정보, 비트스트림의 잔차를 포함하고, 상기 비트스트림의 코딩정보는 비트스트림의 모드 선택 정보, 비트스트림의 운동 추정 정보 및 비트스트림의 양자화 정보 중의 적어도 하나를 포함하며; 상기 비트스트림의 잔차는 상기 트랜스코딩된 비트스트림에 사용 가능한 잔차, 또는 상기 비트스트림과 상기 트랜스코딩된 비트스트림에 사용 가능한 잔차의 차이 값을 포함하고;
    상기 트랜스코딩을 지원 가능한 비트스트림 정보는 상기 트랜스코딩된 비트스트림의 코딩 능력 레벨 및 상기 트랜스코딩된 비트스트림의 동적 범위 중 적어도 하나를 포함하는 비트스트림 처리방법.
  2. 제 1 항에 있어서,
    상기 트랜스코딩된 비트스트림을 생성하는 단계 이후에,
    생성된 트랜스코딩된 비트스트림에 따라 새로운 보조정보를 생성하는 단계; 및
    생성된 새로운 보조정보를, 상기 생성된 트랜스코딩된 비트스트림에 부가하는 단계; 를 더 포함하는 비트스트림 처리방법.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 트랜스코딩된 비트스트림이 트랜스코딩되었음을 나타내기 위한 플래그비트 정보를, 생성된 트랜스코딩된 비트스트림에 부가하는 단계를 더 포함하는 비트스트림 처리방법.
  4. 제 1 항에 있어서,
    상기 트랜스코딩에 사용 가능한 비트스트림 정보는 상기 비트스트림의 코딩 유형, 상기 비트스트림의 비트 레이트, 상기 비트스트림의 프레임 레이트, 상기 비트스트림의 이미지 해상도, 상기 비트스트림의 색 공간, 상기 비트스트림의 휘도 색도 샘플링 포맷, 및 상기 비트스트림의 사용자 자체정의 정보 중의 적어도 하나를 더 포함하는 비트스트림 처리방법.
  5. 제 1 항에 있어서,
    상기 트랜스코딩을 지원 가능한 비트스트림 정보는 상기 트랜스코딩된 비트스트림의 코딩 유형, 상기 트랜스코딩된 비트스트림의 비트 레이트, 상기 트랜스코딩된 비트스트림의 프레임 레이트, 상기 트랜스코딩된 비트스트림의 이미지 해상도, 상기 트랜스코딩된 비트스트림의 색 공간, 상기 트랜스코딩된 비트스트림의 휘도 색도 샘플링 포맷, 및 상기 트랜스코딩된 비트스트림의 사용자 자체정의 정보 중의 적어도 하나를 더 포함하는 비트스트림 처리방법.
  6. 제 4 항 또는 제 5 항에 있어서,
    상기 데이터 유닛이 비트스트림을 전송하는 보조정보 유닛이고, 상기 비트스트림을 전송하는 보조정보 유닛이 보충 강화 정보(SEI) 유닛인 경우, 상기 보조정보는 상기 SEI 유닛의 페이로드 유형 필드가 미리 설정된 식별자인 위치에 위치하며; 상기 비트스트림의 보조정보를 획득하는 단계는,
    상기 비트스트림을 파싱하여, SEI 유닛을 획득하는 단계;
    상기 SEI 유닛의 상기 페이로드 유형 필드가 상기 미리 설정된 식별자인 위치에서 상기 보조정보를 획득하는 단계; 를 포함하는 비트스트림 처리방법.
  7. 제 4 항 또는 제 5 항에 있어서,
    상기 데이터 유닛이 비트스트림을 전송하는 보조정보 유닛이고, 상기 비트스트림을 전송하는 보조정보 유닛이 비디오 응용 정보(VUI) 유닛인 경우, 상기 보조정보는 상기 VUI 유닛의 트랜스코딩 정보 마크 필드가 미리 설정된 값인 위치에 위치하며; 상기 비트스트림의 보조정보를 획득하는 단계는,
    상기 비트스트림을 파싱하여, VUI 유닛을 획득하는 단계; 및
    상기 VUI 유닛의 상기 트랜스코딩 정보 마크 필드가 상기 미리 설정된 값인 위치에서 상기 보조정보를 획득하는 단계; 를 포함하는 비트스트림 처리방법.
  8. 비트스트림의 보조정보를 획득하도록 구성된 획득모듈-여기서, 상기 보조정보는 트랜스코딩에 사용 가능한 비트스트림 정보 및 트랜스코딩을 지원 가능한 비트스트림 정보 중의 적어도 하나를 포함함-; 및
    상기 보조정보를 사용하여 상기 비트스트림을 트랜스코딩하여, 트랜스코딩된 비트스트림을 생성하도록 구성된 처리모듈; 을 포함하며,
    상기 보조정보는 미리 설정된 식별자를 운반하는 데이터 유닛에 위치하고, 상기 데이터 유닛은 비트스트림을 전송하는 보조정보 유닛, 시스템 계층 미디어 기술 유닛 및 미디어 파일 포맷에 포함된 미디어 기술 유닛을 포함하며,
    상기 트랜스코딩에 사용 가능한 비트스트림 정보는 상기 비트스트림의 코딩 능력 레벨, 상기 비트스트림의 동적 범위 및 상기 비트스트림의 코딩정보 중의 적어도 하나를 포함하되;
    여기서, 상기 비트스트림의 코딩정보는 비트스트림의 블록정보, 비트스트림의 잔차를 포함하고, 상기 비트스트림의 코딩정보는 비트스트림의 모드 선택 정보, 비트스트림의 운동 추정 정보 및 비트스트림의 양자화 정보 중의 적어도 하나를 포함하며; 상기 비트스트림의 잔차는 상기 트랜스코딩된 비트스트림에 사용 가능한 잔차, 또는 상기 비트스트림과 상기 트랜스코딩된 비트스트림에 사용 가능한 잔차의 차이 값을 포함하며,
    상기 트랜스코딩을 지원 가능한 비트스트림 정보는 상기 트랜스코딩된 비트스트림의 코딩 능력 레벨 및 상기 트랜스코딩된 비트스트림의 동적 범위 중 적어도 하나를 포함하는 비트스트림 처리장치.
  9. 제 8 항에 있어서,
    상기 획득모듈은 또한,
    생성된 트랜스코딩된 비트스트림에 따라 새로운 보조정보를 생성하도록 구성되고;
    상기 처리모듈은 또한,
    생성된 새로운 보조정보를, 상기 생성된 트랜스코딩된 비트스트림에 부가하도록 구성되는 것을 특징으로 하는 비트스트림 처리장치.
  10. 제 8 항 또는 제 9 항에 있어서,
    상기 트랜스코딩된 비트스트림이 트랜스코딩되었음을 나타내기 위한 플래그비트 정보를, 생성된 트랜스코딩된 비트스트림에 부가하도록 구성된 부가모듈을 더 포함하는 비트스트림 처리장치.
  11. 제 8 항에 있어서,
    상기 트랜스코딩에 사용 가능한 비트스트림 정보는 상기 비트스트림의 코딩 유형, 상기 비트스트림의 비트 레이트, 상기 비트스트림의 프레임 레이트, 상기 비트스트림의 이미지 해상도, 상기 비트스트림의 색 공간, 상기 비트스트림의 휘도 색도 샘플링 포맷, 및 상기 비트스트림의 사용자 자체정의 정보 중의 적어도 하나를 더 포함하는 비트스트림 처리장치.
  12. 제 8 항에 있어서,
    상기 트랜스코딩을 지원 가능한 비트스트림 정보는 상기 트랜스코딩된 비트스트림의 코딩 유형, 상기 트랜스코딩된 비트스트림의 비트 레이트, 상기 트랜스코딩된 비트스트림의 프레임 레이트, 상기 트랜스코딩된 비트스트림의 이미지 해상도, 상기 트랜스코딩된 비트스트림의 색 공간, 상기 트랜스코딩된 비트스트림의 휘도 색도 샘플링 포맷, 및 상기 트랜스코딩된 비트스트림의 사용자 자체정의 정보 중의 적어도 하나를 더 포함하는 비트스트림 처리장치.
  13. 제 11 항 또는 제 12 항에 있어서,
    상기 데이터 유닛이 비트스트림을 전송하는 보조정보 유닛이고, 상기 비트스트림을 전송하는 보조정보 유닛이 보충 강화 정보(SEI) 유닛인 경우, 상기 보조정보는 상기 SEI 유닛의 페이로드 유형 필드가 미리 설정된 식별자인 위치에 위치하며; 상기 획득모듈은,
    상기 비트스트림을 파싱하여, SEI 유닛을 획득하고;
    상기 SEI 유닛의 상기 페이로드 유형 필드가 상기 미리 설정된 식별자인 위치에서 상기 보조정보를 획득하도록 구성되는 것을 특징으로 하는 비트스트림 처리장치.
  14. 제 11 항 또는 제 12 항 에 있어서,
    상기 데이터 유닛이 비트스트림을 전송하는 보조정보 유닛이고, 상기 비트스트림을 전송하는 보조정보 유닛이 비디오 응용 정보(VUI) 유닛인 경우, 상기 보조정보는 상기 VUI 유닛의 트랜스코딩 정보 마크 필드가 미리 설정된 값인 위치에 위치하며; 상기 획득모듈은,
    상기 비트스트림을 파싱하여, VUI 유닛을 획득하고;
    상기 VUI 유닛의 상기 트랜스코딩 정보 마크 필드가 상기 미리 설정된 값인 위치에서 상기 보조정보를 획득하도록 구성되는 것을 특징으로 하는 비트스트림 처리장치.
  15. 메모리 및 프로세서를 포함하며, 상기 메모리에는 명령이 저장되고, 상기 명령이 상기 프로세서에 의해 실행되면, 제 1 항, 제 2 항, 제 4 항 및 제 5 항 중 어느 한 항에 따른 방법을 구현하게 되는 것을 특징으로 하는 비트스트림 처리장치.
  16. 컴퓨터 실행가능 명령이 저장되고, 상기 컴퓨터 실행가능 명령이 실행되면, 제 1 항, 제 2 항, 제 4 항 및 제 5 항 중 어느 한 항에 따른 방법을 구현하게 되는 것을 특징으로 하는 컴퓨터 판독가능 기억매체.
  17. 삭제
  18. 삭제
KR1020207027795A 2018-02-27 2019-02-22 비트스트림 처리방법 및 장치 KR102377191B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201810162825.1 2018-02-27
CN201810162825.1A CN110198474B (zh) 2018-02-27 2018-02-27 一种码流处理方法及装置
PCT/CN2019/075802 WO2019165933A1 (zh) 2018-02-27 2019-02-22 码流处理方法及装置

Publications (2)

Publication Number Publication Date
KR20200124729A KR20200124729A (ko) 2020-11-03
KR102377191B1 true KR102377191B1 (ko) 2022-03-22

Family

ID=67750897

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207027795A KR102377191B1 (ko) 2018-02-27 2019-02-22 비트스트림 처리방법 및 장치

Country Status (6)

Country Link
US (1) US11523174B2 (ko)
EP (1) EP3761655A4 (ko)
JP (2) JP7099664B2 (ko)
KR (1) KR102377191B1 (ko)
CN (1) CN110198474B (ko)
WO (1) WO2019165933A1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2933837A1 (fr) * 2008-12-10 2010-01-15 Thomson Licensing Procede de codage, procede et dispositif de transcodage et flux de donnees image codees.

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2265089C (en) * 1998-03-10 2007-07-10 Sony Corporation Transcoding system using encoding history information
ES2569491T3 (es) * 1999-02-09 2016-05-11 Sony Corporation Sistema de codificación y método asociado
JP3890838B2 (ja) 1999-02-09 2007-03-07 ソニー株式会社 符号化ストリーム変換装置、および、符号化ストリーム変換方法、並びに、記録媒体
JP3448706B2 (ja) 1999-09-06 2003-09-22 株式会社里味 寄せ豆腐充填装置
JP4622121B2 (ja) 2000-03-13 2011-02-02 ソニー株式会社 データ変換装置および方法、並びに、符号化装置および方法
KR100844816B1 (ko) * 2000-03-13 2008-07-09 소니 가부시끼 가이샤 간결한 트랜스코딩 힌트 메타데이터를 생성하는 방법 및장치
CA2389434C (en) 2000-09-01 2009-09-15 Kuraray Co., Ltd. Polyvinyl alcohol resin composition and multilayer packages
US7376159B1 (en) * 2002-01-03 2008-05-20 The Directv Group, Inc. Exploitation of null packets in packetized digital television systems
JP4275358B2 (ja) * 2002-06-11 2009-06-10 株式会社日立製作所 画像情報変換装置およびビットストリーム変換機ならびに画像情報変換送信方法
US20060140274A1 (en) 2004-12-29 2006-06-29 Mediatek Incorporation Transcoder and method used therein
US7672524B2 (en) 2006-03-02 2010-03-02 Mitsubishi Electric Research Laboratories, Inc. Quality control for image transcoding
CN101193290A (zh) * 2006-11-22 2008-06-04 中兴通讯股份有限公司 一种mpeg-4的传输码流到互联网流媒体联盟流的实时转换系统
US8761248B2 (en) * 2006-11-28 2014-06-24 Motorola Mobility Llc Method and system for intelligent video adaptation
WO2008084424A1 (en) 2007-01-08 2008-07-17 Nokia Corporation System and method for providing and using predetermined signaling of interoperability points for transcoded media streams
CN102036061B (zh) 2009-09-30 2012-11-21 华为技术有限公司 视频数据传输处理、发送处理方法、装置和网络系统
US20110150073A1 (en) 2009-12-21 2011-06-23 General Instrument Corporation Scalable video transcoding device
CN102014284B (zh) * 2010-12-10 2014-09-10 中兴通讯股份有限公司 转码业务中获取视频码流的参数集值的方法、系统及装置
US8902973B2 (en) * 2011-04-05 2014-12-02 Dialogic Corporation Perceptual processing techniques for video transcoding
GB2493212B (en) * 2011-07-29 2015-03-11 Canon Kk Method and device for error concealment in motion estimation of video data
GB2493210B (en) * 2011-07-29 2014-04-23 Canon Kk Method and device for error concealment in motion estimation of video data
CN102625150A (zh) * 2012-03-16 2012-08-01 中国科学院计算技术研究所 一种媒体播放系统和方法
WO2013188457A2 (en) 2012-06-12 2013-12-19 Coherent Logix, Incorporated A distributed architecture for encoding and delivering video content
EP2946495B1 (en) * 2013-01-21 2017-05-17 Dolby Laboratories Licensing Corporation Encoding and decoding a bitstream based on a level of trust
US9930351B2 (en) * 2013-10-11 2018-03-27 Telefonaktiebolaget Lm Ericsson (Publ) Method and arrangement for transcoding a video bitstream
WO2015053597A1 (ko) * 2013-10-12 2015-04-16 삼성전자 주식회사 멀티 레이어 비디오 부호화 방법 및 장치, 멀티 레이어 비디오 복호화 방법 및 장치
KR102464061B1 (ko) * 2015-02-13 2022-11-08 삼성전자주식회사 미디어 데이터를 송수신하는 방법 및 장치
JP6632638B2 (ja) 2015-06-23 2020-01-22 テレフオンアクチーボラゲット エルエム エリクソン（パブル） トランスコーディングのための方法および構成
CN105898448A (zh) * 2015-12-14 2016-08-24 乐视云计算有限公司 转码属性信息的提交方法和装置
US10764576B2 (en) * 2016-05-04 2020-09-01 Microsoft Technology Licensing, Llc Intra-picture prediction using non-adjacent reference lines of sample values
CN107333148B (zh) * 2017-06-23 2019-01-08 腾讯科技（深圳）有限公司 视频处理方法及装置、计算机存储介质及设备
EP3659040A4 (en) * 2017-07-28 2020-12-02 Dolby Laboratories Licensing Corporation PROCESS AND SYSTEM FOR PROVIDING MULTIMEDIA CONTENT TO A CUSTOMER
CN114845109A (zh) * 2019-03-11 2022-08-02 杜比实验室特许公司 帧速率可伸缩视频编码

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2933837A1 (fr) * 2008-12-10 2010-01-15 Thomson Licensing Procede de codage, procede et dispositif de transcodage et flux de donnees image codees.

Also Published As

Publication number Publication date
JP2022095898A (ja) 2022-06-28
JP2021515480A (ja) 2021-06-17
US11523174B2 (en) 2022-12-06
CN110198474A (zh) 2019-09-03
WO2019165933A1 (zh) 2019-09-06
EP3761655A1 (en) 2021-01-06
JP7302144B2 (ja) 2023-07-04
CN110198474B (zh) 2022-03-15
EP3761655A4 (en) 2022-01-26
US20200404369A1 (en) 2020-12-24
KR20200124729A (ko) 2020-11-03
JP7099664B2 (ja) 2022-07-12

Similar Documents

Publication Publication Date Title
CN110460846B (zh) 针对编码标准可扩展性的层间参考图片处理
TWI606718B (zh) 規定視覺動態範圍編碼操作及參數
JP2018537898A (ja) ハイダイナミックレンジ映像の、ｃｒｃコードを含むレイヤ表現および配信
JP7345051B2 (ja) サブピクチャ、スライス、およびタイルをサポートするビデオ符号化
EP3820152B1 (en) Method and device for predicting chroma blocks
TW202126049A (zh) 用於視頻編碼及解碼之高階語法
US20200228837A1 (en) Media information processing method and apparatus
TWI811651B (zh) 用於視頻編碼及解碼的高階語法
TWI827919B (zh) 用於視頻編碼及解碼的高階語法
CN114205625B (zh) 媒体文件中图像过渡的过渡期
JP6120667B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、及び記録媒体
TW202203647A (zh) 跨層參考限制條件
JP7460693B2 (ja) 事前選択の目的のシグナリング
KR102377191B1 (ko) 비트스트림 처리방법 및 장치
JP7418489B2 (ja) サブピクチャエンティティグループに対するレベルインジケータ
WO2015052938A1 (en) Highest temporal sub-layer list
US20240056591A1 (en) Method for image coding based on signaling of information related to decoder initialization
JP7490712B2 (ja) ピクチャ・イン・ピクチャ領域内のビデオデータユニットの置換のシグナリング
EP4266689A1 (en) Method and device for generating/receiving media file including nal unit information, and method for transmitting media file
RU2787713C2 (ru) Способ и устройство предсказания блока цветности
US20230319374A1 (en) Method and device for creating/receiving media file containing layer information, and media file transfer method
US20240048768A1 (en) Method and apparatus for generating and processing media file
TW202137763A (zh) 用於視頻編碼及解碼的高階語法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant