KR20180074692A - 영상 그룹(gop)에 기초하여 비디오 데이터의 스트림을 인코딩하기 위한 방법 - Google Patents

영상 그룹(gop)에 기초하여 비디오 데이터의 스트림을 인코딩하기 위한 방법 Download PDF

Info

Publication number
KR20180074692A
KR20180074692A KR1020187011850A KR20187011850A KR20180074692A KR 20180074692 A KR20180074692 A KR 20180074692A KR 1020187011850 A KR1020187011850 A KR 1020187011850A KR 20187011850 A KR20187011850 A KR 20187011850A KR 20180074692 A KR20180074692 A KR 20180074692A
Authority
KR
South Korea
Prior art keywords
data
video
image
group
gop
Prior art date
Application number
KR1020187011850A
Other languages
English (en)
Inventor
피에르 케플랑
크리스토프 까르니엘
다니엘 데디스
Original Assignee
보고
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 보고 filed Critical 보고
Publication of KR20180074692A publication Critical patent/KR20180074692A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M13/00—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes
    • H03M13/03—Error detection or forward error correction by redundancy in data representation, i.e. code words containing more digits than the source words
    • H03M13/05—Error detection or forward error correction by redundancy in data representation, i.e. code words containing more digits than the source words using block codes, i.e. a predetermined number of check bits joined to a predetermined number of information bits
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M13/00—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes
    • H03M13/63—Joint error correction and other techniques
    • H03M13/635—Error control coding in combination with rate matching
    • H03M13/6356—Error control coding in combination with rate matching by repetition or insertion of dummy data, i.e. rate reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/40—Network security protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605—Creation or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23611—Insertion of stuffing data into a multiplex stream, e.g. to obtain a constant bitrate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2381—Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2383—Channel coding or modulation of digital bit-stream, e.g. QPSK modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/633—Control signals issued by server directed to the network components or client
    • H04N21/6332—Control signals issued by server directed to the network components or client directed to client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0041—Arrangements at the transmitter end

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)

Abstract

가시적 이미지의 생성을 위해 내부 코딩 및 예측 코딩을 갖는 이미지의 배열 순서를 정의하기 위해 비디오 코딩에서 사용되는 영상 그룹(GOP)에 기초하여 비디오 데이터의 스트림을 인코딩하기 위한 방법으로서, 로컬 데이터 통신 프로토콜에 의해 제어되는 무선 네트워크를 통한 송신을 위한 리던던시 송신 에러 정정 수단을 포함한다. 비디오 스트림은 연속적인 데이터 패킷 G로 구성되고, 각각의 패킷 G는 송신될 비디오 데이터를 포함하는 제1 세트 M 및 리던던시 알고리즘에 의해 획득되는 리던던시 데이터를 포함하는 제2 세트를 포함한다. 본 발명에 따르면, 제1 데이터 세트 M은 적어도 하나의 영상 그룹(GOP)의 모든 데이터로 구성된다.

Description

영상 그룹(GOP)에 기초하여 비디오 데이터의 스트림을 인코딩하기 위한 방법
본 발명은 예를 들어 WIFI 타입의 통신 프로토콜에 의해 감독되는 무선 디지털 네트워크에서 비디오 데이터 스트림의 수신 신뢰도 및 품질을 향상시키기 위한 목적으로 이와 같은 스트림을 인코딩하기 위한 방법을 다룬다. 관련 스트림은 멀티캐스트 모드에서 전송되고, 이를 수신 디바이스에 브로드캐스팅하는 적어도 하나의 송신기로부터 발생하며, 이와 같은 경우 수신 디바이스는 비교적 제한된 둘레 내에 위치되어, 더욱 로컬 환경에서 동작하도록 설계된, 언급된 바와 같은 통신 프로토콜로 동작할 수 있다. 그 다음, 수신 디바이스에는, 수신된 정보를 프로세싱 및 시청하는 것을 가능하게 하는 적어도 하나의 소프트웨어 애플리케이션이 제공된다.
보다 상세하게는, 본 발명에 의해 수행된 비디오 데이터는, 종래에 비디오 코딩에서(특히 압축, 압축해제, 프로세싱 및 비디오 및 오디오 코딩을 위한 MPEG 표준에서) 사용되는 영상 그룹(GOP)에 기초하여, 내부 코딩 및 비디오 스트림에서 가시적인 이미지의 생성을 허용하는 예측 코딩을 사용하여 이미지의 배열 순서를 정의한다. 본 발명의 맥락에서 프로세싱되는 스트림은 또한, 동일하게 종래의 송신 에러 정정 수단을 포함하며, 이와 같은 경우 정정은 리던던시에 의해 수행되고, 매트릭스 함수를 구현하는 AL-FEC(application level forward error correction) 알고리즘으로 공지된 알고리즘을 통해 수행된다.
본 발명의 방법은, 실시간 및/또는 준-실시간으로 영상 스트림의 송신을 매우 일반적으로 최적화하기 때문에 많은 실용적 애플리케이션을 가질 수 있지만, 예상되는 애플리케이션 중 하나는, 스포츠 미팅 또는 쇼 타입의 이벤트가 발생하는 밀폐된 공간의 둘레 내에서, 상기 이벤트의 사실상 즉시적 브로드캐스트이다. 클라이언트 디바이스로 송신되는 비디오 스트림의 품질은 주로 비디오 영상의 유연하고 우수한 품질의 시청을 허용하지만, 수신된 스트림에 추가된 값을 부여할 수 있는 프로세스, 예를 들어, 필요하다면 슬로우 모션에서 또는 심지어 줌 효과로 반복 및 그에 따른 특정 시퀀스의 리뷰를 통해 시청을 풍부하게 하는 것이 가능하다. 이와 같은 프로세스는 비디오 스트림의 품질이 보장되지 않으면 거의 무의미할 것이다.
비디오 스트림은 통상적으로 스트림의 전송을 위해 미리 결정된 세분화를 준수하는 연속적인 정보 패킷의 형태로 송신되며, 이와 같은 패킷은 매우 일반적으로, 송신되고 송신을 위해 인코딩될 영상, 및 수신 문제의 경우, 초기 영상을 복원하려고 시도하기 위한 재구성 알고리즘을 위해 사용되는 추가적인 정보를 포함한다.
따라서, 본 발명의 방법은, 실제로 연속적인 데이터 패킷 G로 구성된 비디오 스트림에 적용되며, 각각의 패킷 G는 공지된 바와 같이, 송신될 네이티브 비디오 데이터(인코딩된 비디오 스트림의 영상)를 포함하는 제1 세트 M 및 적절한 알고리즘에 의해 획득된 리던던시 데이터를 포함하는 제2 세트를 포함한다. 본 발명에 따르면, 데이터의 제1 세트는 적어도 하나의 영상 그룹(GOP)의 모든 데이터 M으로 구성된다.
따라서, 비디오 스트림들에서 송신될 정보 패킷의 세분화는, 본 발명에 따라 혁신적으로, 송신될 비디오 데이터 패킷들의 아키텍처를 체계화하는 표준의 맥락에서 개발 및 정의된 특정 영상 그룹에 의존한다. 비디오 스트림 전송이 부과된 컴퓨터 시스템 및 결과적으로 이를 구동하는 소프트웨어는, 결과적으로, 특정 코딩된 영상에 기초하여 특정 아키텍처를 식별하는 비디오 코딩 분야의 표준인 방식으로 포맷되는 이와 같은 영상 그룹, 즉 GOP에 기초하여 정보의 세분화를 수행한다. 데이터 M은 단일 영상 그룹 GOP에 포함될 수 있고, 이는, 하나의 동일한 패킷에 모든 데이터를 포함하는 이와 같은 동일한 조건으로, 모든 데이터, 또는 둘 이상의 영상 그룹 GOP를 포함한다.
또한 본 발명에 따르면, 영상 그룹의 모든 영상의 크기는, 각각의 영상을 병치하는 영역에서 네이티브 비디오 스트림의 데이터 M에 추가되고, 각각의 영상은 예를 들어, 영상 당 2개의 데이터 바이트를 점유한다.
또한, 하나의 가능성에 따르면, 영상 그룹의 각각의 영상의 절대적 위치를 포함하는 인덱스 표가 데이터 M에 추가될 수 있으며, 상기 표는 예를 들어 송신될 일련의 코딩된 영상의 시작부에 위치되는 영역에 위치될 수 있다.
실제로, 본 발명에 따르면, 각각의 패킷 G는 미리 결정된 크기 L의 K개의 제1 데이터 블록 및 크기 L의 N개의 리던던시 블록으로 체계화되고, K는 M/L과 동일하고, M/L이 정수가 아니면, 분할 M/L의 결과보다 바로 더 큰 다음 정수 값이 K에 할당된다. M/L이 정수가 아닌 경우에만 존재하는 차이(KxL-M)에 대응하는 블록의 부분은 스터핑(stuffing) 데이터로 식별되는 데이터, 예를 들어, 제로로 채워진다.
바람직하게는, 본 발명에 따르면, 블록 K 및 N 각각에 대해, 다음을 포함하는 정보가 추가된다:
- 각각의 새로운 영상 그룹(GOP)에 대해 증분된 영상 그룹의 수;
- 각각의 블록 K에 대해 1부터 K까지 증분된 K의 값;
- K+1에서 시작하며 N+K에서 종료되는 N의 값;
- L의 값; 및
- 블록의 수(1 내지 K+N).
그 다음, 블록 K 및 N 각각의 길이는 상기 정보의 코딩이 요구하는 L+n 바이트가 된다. 비디오 코딩 표준(하나 이상의 GOP)에 기초한 네이티브 비디오 정보 자체의 블록 K + N으로의 세분화와 결합된 모든 이와 같은 추가적인 데이터의 존재는 비디오 스트림의 송신의 제어를 상당히 향상시키는 것을 가능하게 한다. 비디오 스트림의 손상된 송신이라는 가정 하에 구현되는 재구성 동작은 제안된 신규 아키텍처에 의해 명확하게 용이하게 된다.
또한, 본 발명은 또한, 앞서 적용된 방법에 따라 체계화되고, 송신될 네이티브 비디오 데이터의 제1 세트 및 에러 정정 잉여 데이터의 제2 세트로 각각 구성되는 코딩된 데이터 패킷 G의 연속을 포함하는 비디오 스트림에 관한 것이고, 제1 세트는 적어도 하나의 영상 그룹(GOP)의 모든 데이터를 포함하는 것을 특징으로 한다.
본 발명의 방법에 따라 구성된 이와 같은 타입의 비디오 스트림은, 무엇보다도 송신된 스트림의 시청이 간단히 편안하기에 충분한 품질의 수신을 보장하는 것, 또한 송신된 신호에 적용되는 임의의 후속 프로세스가 이의 성능에 충분한 정보 플랫폼에 기초하는 것을 가능하게 한다.
본 발명은 실제로, 정보, 즉 전송될 네이티브 비디오 스트림을 체계화하여, 충분히 구조화되고 정보가 풍부한 아키텍처에 기초하여, 비디오 신호의 송신에서의 결함에 대한 시스템의 응답의 최적화를 허용한다.
이제, 최적화된 비디오 스트림을 생성하기 위한 상이한 가능한 단계를 도시하는 본 발명의 방법의 예시적인 구현을 표현하는 첨부된 도면을 참조하여 더 상세히 설명될 것이다.
도 1은 본 발명의 맥락에서 사용된 영상 그룹의 구성을 개략적으로 표현하는 도면을 표현한다.
도 2는 동일한 데이터 패킷에 대해, 영상 그룹의 각각의 코딩된 영상의 크기의 네이티브 비디오 스트림에 대한 가산을 예시한다.
도 3은 인덱스 표가 데이터에 추가되는 경우 영상 패킷의 크기 M을 도시한다.
도 4는 K ㅧ L> M인 경우에 스터핑(stuffing)의 가능한 추가로, 데이터 패킷 M의 길이 L의 K개의 블록으로의 세분화를 표현한다.
도 5는 리던던시(FEC)에 의한 인코딩으로 인한 N개의 블록의 추가를 예시한다.
마지막으로 도 6은 송신될 정보를 풍부하게 하고 적절한 경우 데이터 복원의 후속 구현을 용이하게 하는 추가적인 파라미터의 추가를 도시한다.
도 1을 참조하면, 송신 에러 정정 기능의 인코딩 이전에 송신될 네이티브 비디오 스트림을 형성하는 데이터의 제1 세트는 영상 그룹의 모든 데이터로 구성된다. 이와 같은 데이터 구성 구조는 특히 MPEG 표준에 의해 정의되기 때문에 비디오 코딩 분야에서 널리 공지되어 있다. 이와 같은 영상 그룹, 또는 GOP는 몇몇 특정 타입의 코딩으로부터 생성되는 영상이 배열되는 성질 및 순서를 정의한다. 이와 같은 영상의 그룹화는 실제로 특정 시리즈를 형성하며, 이와 같은 시리즈는 비디오 스트림의 인코딩을 구성하기 위해 주기적으로 반복된다. 따라서, 내부 코딩 I를 갖는 영상 및 예측 코딩을 갖는 영상이 존재하며, 후자는 2개의 타입, 즉, 과거 이미지에 기초한 예측 코딩을 갖는 영상 P 및 양방향 예측 코딩을 갖는 영상 B일 수 있다. 영상 P는 모션 예측에 의해 영상 I 또는 과거 이미지 P와의 차이에 대한 정보를 포함한다. 영상 B는 영상 그룹 내의 과거 및 장래 영상 I 또는 P와의 차이에 대한 정보를 포함한다.
정보에 대해, 영상 I 또는 P는 기준 영상으로서 사용될 수 있지만, 일반적으로 영상 B의 경우에는 그렇지 않다. 요약하면, 가시적 영상은 영상 그룹에 포함된 코딩된 영상으로부터 생성되고, 이는 또한 비디오 스트림 전송 레이트를 보장하기 위해, 인코딩 시에 구성되는 다수의 코딩된 영상으로 표현된다.
도 1에 특히 나타난 바와 같이, 영상 그룹 N(GOP N)은 상기 영상 그룹을 정의하는 특정 순서로 기준 영상 IN으로 시작하여 영상 P 및 B로 이어진다. 송신될 비디오 스트림은 이와 같은 영상 그룹 N을 포함하고, 영상 그룹 N+1이 후속하며, 이의 초기 영상 IN + 1은 새로운 기준 영상이고, 영상 그룹 N-1이 그에 선행하는 식이다. 이와 같은 영상 그룹의 세트 GOPN은 인코딩된 비디오 스트림을 형성한다. 본 발명의 경우, 전송될 비디오 데이터 패킷의 세분화의 기초는 이와 같은 영상 그룹으로 구성된다. 도 1은 영상 그룹 중 단지 하나만을 도시하지만, 비디오 데이터 패킷 M 내에는 둘 이상이 존재할 수 있다.
도 2는, 이와 같은 영상 각각을 병치하는 영역에서 영상 그룹의 모든 영상 I, P, B의 크기를 가산함으로써 비디오 스트림의 코딩을 향상시키는 본 발명의 방법의 다른 특징을 예시한다. 도 3의 비디오 데이터 패킷의 시작부에 나타나는 인덱스 표의 여분의 추가는 인코딩된 비디오 정보를 추가로 패딩하고, 그 전체는 크기 M의 제1 인코딩된 세트를 형성한다.
이와 같은 길이 또는 크기 M은 (심지어 그림 4에서도) 길이 L의 K개의 블록으로의 세분화를 목표로 하는 계산의 시작점이며, L은 상수이고 K는 정수이다. M을 L로 나눈 결과가 정수가 아닌 경우, 바로 더 큰 정수 값이 K에 할당된다. 대부분의 경우, K ㅧ L > M이다. 이와 같은 가설이 주어지면, 도 4에 표현된 바와 같이, 길이 L의 K개의 완전한 블록을 획득하기 위해 스터핑이 적용된다. 이는 단순히 프로그램에 의해 스터핑 값으로 식별되는 블록 K에 제로를 추가하는 것을 수반한다.
지금까지, 주제는 비디오 코딩, 즉 비디오 스트림의 송신을 목표로 하는 영상의 코딩이고, 궁극적으로는 디코딩 후에 가시적인 이미지의 생성을 허용하는 것이다. 도 5 및 도 6은 임의의 송신 에러의 정정 개념을 추가한다. 이전에 언급한 바와 같이, 에러 정정은, 이 경우 AL-FEC(애플리케이션 계층 순방향 에러 정정) 타입으로 공지된 알고리즘을 사용함으로써 리던던시에 의해 수행된다. 에러 정정 인코딩은, 또한 길이 L의 N개의 여분의 데이터 블록을 추가하게 되는 매트릭스 함수를 구현한다. 이는 이와 같은 도 5 및 도 6에 나타나는 블록 K+1 내지 K+N이다.
프로세싱 가능성을 추가로 최적화하기 위한 목적으로, 본 발명에 특정한 최종 동작에 따르면, 블록 K 및 N의 각각에 대한 정보가 추가되며, 정보는 특히 비배타적으로 다음을 포함한다:
- 각각의 새로운 영상 그룹(GOP)에 대해 증분된 그룹의 수;
- 각각의 블록 K에 대해 1부터 K까지 증분된 K의 값;
- K+1에서 시작하며 N+K에서 종료되는 N의 값;
- L의 값; 및
- 블록의 수(1 내지 K+N).
이와 같은 상보적 정보는 실제적으로 정보, 즉 리던던시 블록을 포함하여 전송될 비디오 스트림의 세트를 보다 양호하게 체계화하여, 비디오 신호 송신 결함에 대한 시스템의 응답의 최적화를 허용한다. 이는, 실제로, 에러를 더 양호하게 추적하고 이를 데이터 패킷에서 검색할 수 있기 위해 개별적으로 취해진 블록에 대한 데이터를 제공한다.
본 발명은 물론 도면을 참조하여 기술되고 설명된 예로 제한되는 것이 아니라, 청구 범위의 범위 내에 속하는 변형예 및 변화예를 포함한다.

Claims (7)

  1. 가시적 이미지의 생성을 허용하는 내부 코딩 및 예측 코딩을 갖는 이미지의 배열 순서를 정의하기 위해 비디오 코딩에서 사용되는 영상 그룹(GOP)에 기초하여 비디오 데이터 스트림을 인코딩하기 위한 방법으로서,
    로컬 데이터 통신 프로토콜에 의해 감독되는 무선 네트워크를 통한 송신을 위해 리던던시에 의해 송신 에러를 정정하기 위한 수단을 포함하고, 상기 비디오 스트림은 연속적인 데이터 패킷 G로 구성되고, 각각의 패킷 G는 송신될 비디오 데이터를 포함하는 제1 세트 M 및 리던던시 알고리즘에 의해 획득되는 리던던시 데이터를 포함하는 제2 세트를 포함하고, 데이터의 상기 제1 세트 M은 적어도 하나의 영상 그룹(GOP)의 모든 데이터로 구성되는 것을 특징으로 하는, 비디오 데이터 스트림을 인코딩하기 위한 방법.
  2. 제1항에 있어서, 상기 영상 그룹의 모든 영상의 크기는 각각의 이미지를 병치하는 영역에서 상기 데이터 M에 추가되는 것을 특징으로 하는, 비디오 데이터 스트림을 인코딩하기 위한 방법.
  3. 제1항 또는 제2항에 있어서, 상기 영상 그룹의 각각의 영상의 절대적 위치를 포함하는 인덱스 표가 상기 데이터 M에 추가되는 것을 특징으로 하는, 비디오 데이터 스트림을 인코딩하기 위한 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서, 각각의 패킷 G는 미리 결정된 크기 L의 K개의 제1 데이터 블록 및 크기 L의 N개의 리던던시 블록으로 체계화되고, K는 M/L과 동일하고, M/L이 정수가 아니면, 분할 M/L의 결과보다 바로 더 큰 다음 정수 값이 K에 할당되는 것을 특징으로 하는, 비디오 데이터 스트림을 인코딩하기 위한 방법.
  5. 제4항에 있어서, M/L이 정수가 아닌 경우에 존재하는 차이 (KxL - M)에 대응하는 블록의 부분은 스터핑 데이터로 식별되는 데이터, 예를 들어, 제로로 채워지는 것을 특징으로 하는, 비디오 데이터 스트림을 인코딩하기 위한 방법.
  6. 제4항 또는 제5항에 있어서, 상기 블록 K 및 N 각각에 대해,
    - 각각의 새로운 영상 그룹(GOP)에 대해 증분된 영상 그룹의 수;
    - 각각의 블록 K에 대해 1부터 K까지 증분된 K의 값;
    - K+1에서 시작하며 N+K에서 종료되는 N의 값;
    - L의 값; 및
    - 블록의 수(1 내지 K+N)
    을 포함하는 정보가 추가되는 것을 특징으로 하는, 비디오 데이터 스트림을 인코딩하기 위한 방법.
  7. 제1항 내지 제6항 중 어느 한 항의 방법에 따라 체계화되고, 송신될 네이티브 비디오 데이터의 제1 세트 및 에러 정정 잉여 데이터의 제2 세트로 각각 구성되는 데이터 패킷 G의 연속을 포함하고, 상기 제1 세트는 적어도 하나의 영상 그룹(GOP)의 모든 데이터를 포함하는 것을 특징으로 하는, 비디오 스트림.
KR1020187011850A 2015-09-30 2016-09-30 영상 그룹(gop)에 기초하여 비디오 데이터의 스트림을 인코딩하기 위한 방법 KR20180074692A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1559299 2015-09-30
FR1559299A FR3041850B1 (fr) 2015-09-30 2015-09-30 Procede d'encodage de flux de donnees video basees sur des groupements d'images (gop)
PCT/FR2016/052508 WO2017055771A1 (fr) 2015-09-30 2016-09-30 Procédé d'encodage de flux de données vidéo basées sur des groupements d'images (gop)

Publications (1)

Publication Number Publication Date
KR20180074692A true KR20180074692A (ko) 2018-07-03

Family

ID=55236515

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187011850A KR20180074692A (ko) 2015-09-30 2016-09-30 영상 그룹(gop)에 기초하여 비디오 데이터의 스트림을 인코딩하기 위한 방법

Country Status (11)

Country Link
US (1) US10477246B2 (ko)
EP (1) EP3357244A1 (ko)
JP (1) JP2018536325A (ko)
KR (1) KR20180074692A (ko)
CN (1) CN108353183B (ko)
AU (1) AU2016333573A1 (ko)
BR (1) BR112018006381A2 (ko)
CA (1) CA3000557A1 (ko)
FR (1) FR3041850B1 (ko)
SG (1) SG11201802623PA (ko)
WO (1) WO2017055771A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10419738B1 (en) * 2018-06-14 2019-09-17 Telefonaktiebolaget Lm Ericsson (Publ) System and method for providing 360° immersive video based on gaze vector information
JP7155727B2 (ja) * 2018-08-07 2022-10-19 富士通株式会社 情報処理装置、情報処理装置の制御方法及び情報処理装置の制御プログラム
WO2023184552A1 (zh) * 2022-04-02 2023-10-05 Oppo广东移动通信有限公司 一种数据传输方法及装置、通信设备

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07170513A (ja) * 1993-12-15 1995-07-04 Hitachi Ltd 画像符号化復号化方法
US5768533A (en) * 1995-09-01 1998-06-16 National Semiconductor Corporation Video coding using segmented frames and retransmission to overcome channel errors
US7224702B2 (en) * 2000-08-30 2007-05-29 The Chinese University Of Hong Kong System and method for error-control for multicast video distribution
US7212726B2 (en) * 2000-09-15 2007-05-01 International Business Machines Corporation System and method of processing MPEG streams for file index insertion
CN1124745C (zh) * 2000-12-05 2003-10-15 湖南中芯数字技术有限公司 运用w－正交变换的视频图像压缩方法
US7095729B2 (en) * 2000-12-22 2006-08-22 Intel Corporation Method for multimedia communication over packet channels
US6898758B2 (en) * 2001-06-20 2005-05-24 Koninklijke Philips Electronics N.V. Cross media error protection method and system
JP4214816B2 (ja) * 2003-04-15 2009-01-28 パナソニック株式会社 メディア情報処理方法
JP2005252515A (ja) * 2004-03-03 2005-09-15 Matsushita Electric Ind Co Ltd データ配信方法
JP4180095B2 (ja) * 2004-07-01 2008-11-12 三菱電機株式会社 記録装置、及び記録方法、及び再生装置及び再生方法
ATE511721T1 (de) * 2004-10-06 2011-06-15 Nokia Corp Zusammenstellen von vorwärtsfehlerkorrektur- rahmen
JP4374548B2 (ja) * 2005-04-15 2009-12-02 ソニー株式会社 復号装置および方法、記録媒体、並びに、プログラム
US7788568B1 (en) * 2006-01-23 2010-08-31 Sprint Communications Company L.P. System and method for characterizing error correction performance for digital data transport over an IP network
DE102006057983A1 (de) * 2006-12-08 2008-06-12 Siemens Ag Verfahren zur Vidoecodierung einer Folge digitalisierter Bilder
US8279946B2 (en) * 2007-11-23 2012-10-02 Research In Motion Limited System and method for providing a variable frame rate and adaptive frame skipping on a mobile device
CN100592803C (zh) * 2008-06-03 2010-02-24 中国人民解放军军事交通学院 基于数据图像编解码技术的单向光通路数据导入装置
JP4686587B2 (ja) * 2008-10-16 2011-05-25 株式会社東芝 映像記録再生装置およびファイル管理方法
US8396114B2 (en) * 2009-01-29 2013-03-12 Microsoft Corporation Multiple bit rate video encoding using variable bit rate and dynamic resolution for adaptive video streaming
US9094641B1 (en) * 2011-06-08 2015-07-28 Arris Enterprises, Inc. Group of pictures size adjustment
EP3174296A1 (en) * 2011-10-17 2017-05-31 Kabushiki Kaisha Toshiba Decoding device and decoding method
KR102148158B1 (ko) * 2013-04-23 2020-08-28 삼성전자주식회사 통신 시스템에서 패킷 송수신 방법 및 장치
US9414100B2 (en) * 2014-03-31 2016-08-09 Arris Enterprises, Inc. Adaptive streaming transcoder synchronization
US9955159B2 (en) * 2014-10-31 2018-04-24 Google Llc Multi-video decoding with input switching

Also Published As

Publication number Publication date
FR3041850B1 (fr) 2018-05-25
CA3000557A1 (fr) 2017-04-06
SG11201802623PA (en) 2018-04-27
BR112018006381A2 (pt) 2018-10-09
US10477246B2 (en) 2019-11-12
AU2016333573A1 (en) 2018-04-19
FR3041850A1 (fr) 2017-03-31
CN108353183A (zh) 2018-07-31
EP3357244A1 (fr) 2018-08-08
WO2017055771A1 (fr) 2017-04-06
JP2018536325A (ja) 2018-12-06
US20180270507A1 (en) 2018-09-20
CN108353183B (zh) 2021-02-09

Similar Documents

Publication Publication Date Title
KR102133930B1 (ko) 데이터 패킷 송수신 장치 및 방법
KR101426097B1 (ko) 정보 처리 장치 및 방법과, 프로그램
US10009630B2 (en) System and method for encoding video content using virtual intra-frames
WO2016131223A1 (zh) 一种视频帧丢帧方法及视频发送装置
JP4696008B2 (ja) Ｉｐ送信装置およびｉｐ送信方法
KR101959319B1 (ko) 비디오 데이터 인코딩 및 디코딩 방법 및 장치
GB2527588A (en) Encoder and decoder
JP4135395B2 (ja) 符号化パケット伝送受信方法およびその装置ならびにプログラム
JP2010050634A (ja) 符号化装置、復号装置及び符号化システム
KR20180074692A (ko) 영상 그룹(gop)에 기초하여 비디오 데이터의 스트림을 인코딩하기 위한 방법
CN114257818B (zh) 视频的编、解码方法、装置、设备和存储介质
JP6519474B2 (ja) 情報処理装置、情報処理方法及びプログラム
KR101286419B1 (ko) 데이터 패킷 처리 방법 및 장치
CN111263192A (zh) 视频处理方法及相关设备
JP2006505180A (ja) 高確実性ビデオ伝送を行うデータパーティショニングのための符号化ビデオパケット構造体、デマルチプレクサ、マージャ、方法及び装置
CN104079975A (zh) 图像处理设备、图像处理方法以及计算机程序
JP4604851B2 (ja) 送信装置、受信装置、送信処理方法、受信処理方法、それらのプログラム
KR20160138382A (ko) 방송 및/또는 통신 시스템에서 패킷 생성 및 복원 방법 및 장치
JP2007324876A (ja) データ送信装置、データ受信装置、データ送信方法、データ受信方法、及びプログラム
US9930422B2 (en) Video transmission system, video encoding apparatus, and video decoding apparatus
CN115623154A (zh) 校正网络数据丢包的系统和方法
JP2000032460A (ja) 選択イメ―ジビュ―を生成する方法および装置
JP2010239433A (ja) 映像符号化装置、方法及びプログラム
Varnica et al. Multi-resolution adaptation of the SPIHT algorithm for multiple description
CN113784209B (zh) 多媒体数据流处理方法及装置