KR101686723B1 - 인코딩된 비디오 스트림의 믹싱 - Google Patents

인코딩된 비디오 스트림의 믹싱 Download PDF

Info

Publication number
KR101686723B1
KR101686723B1 KR1020147027339A KR20147027339A KR101686723B1 KR 101686723 B1 KR101686723 B1 KR 101686723B1 KR 1020147027339 A KR1020147027339 A KR 1020147027339A KR 20147027339 A KR20147027339 A KR 20147027339A KR 101686723 B1 KR101686723 B1 KR 101686723B1
Authority
KR
South Korea
Prior art keywords
encoded
sub
video
stream
video stream
Prior art date
Application number
KR1020147027339A
Other languages
English (en)
Other versions
KR20140136013A (ko
Inventor
요시 요르비넨
아르토 마코넨
디에트마르 피에드레르
Original Assignee
텔레폰악티에볼라겟엘엠에릭슨(펍)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 텔레폰악티에볼라겟엘엠에릭슨(펍) filed Critical 텔레폰악티에볼라겟엘엠에릭슨(펍)
Publication of KR20140136013A publication Critical patent/KR20140136013A/ko
Application granted granted Critical
Publication of KR101686723B1 publication Critical patent/KR101686723B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/232—Content retrieval operation locally within server, e.g. reading video streams from disk arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/232—Content retrieval operation locally within server, e.g. reading video streams from disk arrays
    • H04N21/2323—Content retrieval operation locally within server, e.g. reading video streams from disk arrays using file mapping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Abstract

1차 윈도우와 연관된 인코딩된 1차 비디오 스트림 및 1차 윈도우보다 작은 대응하는 2차 윈도우와 각각 연관된 적어도 하나의 인코딩된 2차 비디오 스트림으로부터 믹싱된 인코딩된 비디오 스트림을 생성하는 비디오 스트림 믹서(60)가 기술된다. 믹서는 뒤따르는 엘리먼트를 포함한다: 인코딩된 1차 비디오 스트림(A)을, 1차 윈도우 내의, 서브-윈도우(16)와 연관되고, 믹싱에 포함되지 않은 인코딩된 믹싱되지 않은 서브-스트림 및, 1차 윈도우 내의 다른 서브-윈도우에 상보적인 서브-윈도우(18)와 연관되고, 믹싱에 포함된 인코딩된 상보적인 서브-스트림으로 분할하도록 구성된 비디오 스트림 스플리터(20)와; 상보적인 서브-스트림 및 각각의 2차 비디오 스트림(B, C)을 디코딩하도록 구성된 비디오 스트림 디코더(22)와; 디코딩된 상보적인 서브-스트림을 각각의 디코딩된 2차 비디오 스트림으로 믹싱하도록 구성되어, 믹싱된 비디오 시그널을 형성하는 비디오 시그널 믹서(24)와; 믹싱된 비디오 시그널을 인코딩된 믹싱된 서브-스트림으로 인코딩하도록 구성된 비디오 인코더(26)와; 인코딩된 믹싱되지 않은 서브-스트림과 인코딩된 믹싱된 서브-스트림을 결합하도록 구성된 비디오 스트림 결합기(28)를 포함한다.

Description

인코딩된 비디오 스트림의 믹싱{mixing of encoded video streams}
제안된 기술은 인코딩된 비디오 스트림의 믹싱과 관련된다.
인코딩된 비디오 스트림의 믹싱을 위한 존재하는 솔루션에 있어서, 모든 스트림은 완전히 디코딩된다. 그 후, 디코딩된 비디오 프레임은 믹싱되고, 최종적으로 믹싱된 프레임은 믹싱된 인코딩된 비디오 스트림으로 인코딩된다. 동일한 과정은, 믹싱되는 영역이 전체 프레임에 비해 작더라도 사용된다.
제안된 기술의 목적은, 인코딩된 비디오 스트림의 더 효율적인 믹싱이다.
이 목적은 첨부된 청구항에 따라서 달성된다.
제안된 기술의 제1측면은, 1차 윈도우와 연관된 인코딩된 1차 비디오 스트림 및 1차 윈도우보다 작은 대응하는 2차 윈도우와 각각 연관된 적어도 하나의 인코딩된 2차 비디오 스트림으로부터 믹싱된 인코딩된 비디오 스트림을 생성하는 방법으로서:
· 인코딩된 1차 비디오 스트림을, 1차 윈도우 내의, 서브-윈도우와 연관되고, 믹싱에 포함되지 않은 인코딩된 믹싱되지 않은 서브-스트림 및, 1차 윈도우 내의 다른 서브-윈도우에 상보적인 서브-윈도우와 연관되고, 믹싱에 포함된 인코딩된 상보적인 서브-스트림으로 분할하는 단계와;
· 상보적인 서브-스트림 및 각각의 2차 비디오 스트림을 디코딩하는 단계와;
· 디코딩된 상보적인 서브-스트림을 각각의 디코딩된 2차 비디오 스트림으로 믹싱해서, 믹싱된 비디오 시그널을 형성하는 단계와;
· 믹싱된 비디오 시그널을 인코딩된 믹싱된 서브-스트림으로 인코딩하는 단계와;
· 인코딩된 믹싱되지 않은 서브-스트림과 인코딩된 믹싱된 서브-스트림을 결합하는 단계를 포함하는 것을 특징으로 하는 방법을 포함한다.
제안된 기술의 제2측면은, 1차 윈도우와 연관된 인코딩된 1차 비디오 스트림 및 1차 윈도우보다 작은 대응하는 2차 윈도우와 각각 연관된 적어도 하나의 인코딩된 2차 비디오 스트림으로부터 믹싱된 인코딩된 비디오 스트림을 생성하는 비디오 스트림 믹서로서:
· 인코딩된 1차 비디오 스트림을, 1차 윈도우 내의, 서브-윈도우와 연관되고, 믹싱에 포함되지 않은 인코딩된 믹싱되지 않은 서브-스트림 및, 1차 윈도우 내의 다른 서브-윈도우에 상보적인 서브-윈도우와 연관되고, 믹싱에 포함된 인코딩된 상보적인 서브-스트림으로 분할하도록 구성된 비디오 스트림 스플리터와;
· 상보적인 서브-스트림 및 각각의 2차 비디오 스트림을 디코딩하도록 구성된 비디오 스트림 디코더와;
· 디코딩된 상보적인 서브-스트림을 각각의 디코딩된 2차 비디오 스트림으로 믹싱하도록 구성되어, 믹싱된 비디오 시그널을 형성하는 비디오 시그널 믹서와;
· 믹싱된 비디오 시그널을 인코딩된 믹싱된 서브-스트림으로 인코딩하도록 구성된 비디오 인코더와;
인코딩된 믹싱되지 않은 서브-스트림과 인코딩된 믹싱된 서브-스트림을 결합하도록 구성된 비디오 스트림 결합기를 포함하는 것을 특징으로 하는 믹서를 포함한다.
제안된 기술의 제3측면은, 미디어 리소스 기능 프로세서(MRFP)로서, 제2측면에 따른 비디오 스트림 믹서를 포함하는 것을 특징으로 하는 미디어 리소스 기능 프로세서를 포함한다.
제안된 기술의 제4측면은, 미디어 리소스 기능(MRF)로서, 제3측면에 따른 미디어 리소스 기능 프로세서(MRFP)를 포함하는 것을 특징으로 하는 미디어 리소스 기능을 포함한다.
제안된 기술의 제5측면은, 비디오 회의 시스템으로서, 제4측면에 따른 미디어 리소스 기능(MRF)을 포함하는 것을 특징으로 하는 비디오 회의 시스템을 포함한다.
제안된 기술의 제6측면은, 비디오 회의 시스템으로서, 제2측면에 따른 비디오 스트림 믹서를 포함하는 것을 특징으로 하는 비디오 회의 시스템을 포함한다.
제안된 기술의 장점은, 종래 기술 솔루션보다 더 적은 처리 파워를 요구하는 것이다. 이는, 특히 비디오 회의와 같은 적용의 경우인데, 여기서 동일한 인코딩된 1차 비디오 스트림이 다른 결합 내의 다수의 인코딩된 2차 비디오 스트림으로 믹싱된다.
또 다른 목적 및 그 장점과 함께, 본 기술은, 이하의 첨부된 도면을 참조로 최상으로 이해될 수 있는데:
도 1은 IP(Internet Protocol) 네트워크에 기반한 비디오 회의 시스템(conferencing system)을 도시하는 도면;
도 2는 비디오 회의 시스템에서의 상호 접속을 도시하는 블록도;
도 3은 종래 기술 비디오 회의 시스템에서 인코딩된 비디오 스트림의 믹싱을 도시한 도면;
도 4는 제안된 기술에 기반한 비디오 회의 시스템에서의 인코딩된 비디오 스트림의 일 예의 믹싱을 도시한 도면;
도 5는 제안된 기술에 따른 인코딩된 비디오 스트림의 일 예의 믹싱을 도시한 도면;
도 6은 제안된 기술에 따른 믹싱된 인코딩된 비디오 스트림의 생성 방법의 흐름도;
도 7은 일 예의 인코딩된 비디오 스트림의 구조를 도시한 도면;
도 8A-C는 다양한 비디오 프레임 구성을 도시한 도면;
도 9는 제안된 기술에 따른 비디오 스트림 믹서의 실시형태의 블록도;
도 10은 제안된 기술에 따른 비디오 스트림 믹서의 실시형태의 블록도;
도 11은 비디오 스트림 스플리터의 실시형태의 블록도;
도 12는 비디오 스트림 결합기의 실시형태의 블록도;
도 13은 제안된 기술에 따른 비디오 스트림 믹서의 실시형태의 블록도;
도 14는 제안된 기술에 기반한 비디오 회의 시스템을 도시하는 도면이다.
뒤따르는 상세한 설명은 비디오 회의에서의 인코딩된 비디오 스트림의 믹싱을 기술하게 된다. 그런데, 동일한 원리가 인코딩된 비디오 스트림의 믹싱을 요구하는 다른 적용들에서 사용될 수 있는 것으로 이해된다.
일 예는 광고(advertising)인데, 여기서 공통 비디오가 다른 작은 개인화된 광고(다른 소비자에 대해서 다른)로 제공된다.
더욱이, 뒤따르는 상세한 설명은 ITU-T 표준 H.264에 기반한다. 그런데, 동일한 원리가, 이에 제한되지 않지만, H.263, MPEG4, VP8와 같은 다른 표준에 사용될 수도 있는 것으로 이해되어야 한다.
제안된 기술은, IMS(IP Multimedia Subsystem) 네트워크의 미디어 리소스 기능(MRF: media resource function)을 참조로 기술된다. 그런데, 동일한 원리가 비디오 회의를 위한 다른 비디오 믹서에 적용가능한 것으로 이해되어야 한다.
도 1은 IP 네트워크에 기반한 비디오 회의 시스템을 도시하는 도면이다. 이 예에 있어서, 비디오 회의 장비를 사용하는 두 참가자 A 및 B는 컴퓨터를 사용해서 참가자 C에 접속되고, IP 네트워크에 걸쳐서 모바일 폰을 사용해서 참가자 D에 접속된다. 비디오 회의는 미디어 리소스 기능 제어기 MRFC에 의해 제어된 미디어 리소스 기능 프로세서 MRFP을 포함하는 미디어 리소스 기능 MRF에 의해 관리된다.
도 2는 비디오 회의 시스템에서의 상호 접속을 더 상세히 도시하는 블록도이다. 이 예에 있어서, 참가자 A는 현재 활성인 스피커가 되는 것으로 추정된다. 이는, 대응하는 인코딩된 비디오 스트림 A가 다양한 결합에서 다른 참가자로부터의 인코딩된 비디오 스트림 B, C, D로 믹싱되는 것을 의미한다. 이 믹싱은 미디어 리소스 기능 프로세서 MRFP에 의해 수행되어, 다른 참가자가 다른 참가자를 나타내는 작은 윈도우와 함께 활성인 스피커 A가 지배적인 비디오를 수신하도록 한다. 예를 들어, 참가자 D는 참가자 B 및 C를 나타내는 작은 윈도우와 함께 참가자 A가 지배적인 비디오를 수신한다. 참가자 중 아무도 수신된 비디오 내에서 자신을 볼 수 없다. 참가자 A, 현재 활성인 스피커는, 본 예에서 참가자 B가 되는, 전형적으로 제2의 가장 활성인 스피커인 다른 참가자 중 하나가 지배적인 비디오를 수신하게 된다. 또한, 다른 참가자에 의해 보이는 사람의 선택을 조정하기 위해서 플로어 제어 프로토콜(floor control protocol)을 사용하는 것도 가능하다.
도 3은 종래 기술 비디오 회의 시스템에서 인코딩된 비디오 스트림의 믹싱을 도시한다. 인코딩된 1차 비디오 스트림 A는 캔버스로서 역할을 하는데, 그 위에 인코딩된 2차 비디오 스트림이 위치하게 된다. 종래 기술의 방법은 모든 비디오 스트림 A-D를 디코딩함으로써 시작한다. 그 다음, 디코딩된 비디오는 결합 A+B+C, A+B+D, A+C+D로 믹싱된다. 다시 도 2의 예를 참조하면, 결합 B+C+D가 또한 생성되지만, 도 3에 도시하지 않는다. 믹싱 후, 믹싱된 비디오는 인코딩된 믹싱된 비디오 스트림(10, 12, 14)으로 인코딩된다.
도 4는 제안된 기술에 기반한 비디오 회의 시스템에서의 인코딩된 비디오 스트림의 일 예의 믹싱을 도시한다. 도 3에 도시된 종래 기술 방법에 있어서는, 대부분의 비디오 스트림 A가 믹싱 후 교체되지 않은 것을 주의하자. 그런데, 전체 스트림은 각각의 믹스에 대해서 여전히 디코딩된 및 재-인코딩되어야 한다. 도 4에 있어서, 인코딩된 1차 비디오 스트림은 믹싱에 포함되지 않은 인코딩된 부분(16) 및 믹싱에 포함된 부분(18)으로 분할된다. 후자의 부분(18)은 디코딩된 2차 비디오 스트림 B, C, D로 디코딩된 및 믹싱된다. 다른 믹스들이 인코딩되고 인코딩된 부분(16)과 결합된다.
도 5는 제안된 기술에 따른 인코딩된 비디오 스트림(비디오 회의 시스템으로부터일 필요는 없는)의 일 예의 믹싱을 도시한다. 인코딩된 1차 비디오 스트림은 믹싱에 포함되지 않은 인코딩된 부분(16) 및 믹싱에 포함된 부분(18)으로 분할된다. 후자의 부분(18)은 디코딩되고 디코딩된 2차 비디오 스트림 B, C와 믹싱된다. 믹스는 인코딩되고, 인코딩된 부분(16)과 결합된다.
도 6은 제안된 기술에 따른 믹싱된 인코딩된 비디오 스트림의 생성 방법의 흐름도이다. 본 방법은, 1차 윈도우와 연관된 인코딩된 1차 비디오 스트림 및 1차 윈도우보다 작은 대응하는 2차 윈도우와 각각 연관된 적어도 하나의 인코딩된 2차 비디오 스트림으로부터 믹싱된 인코딩된 비디오 스트림을 생성한다. 단계 S1은 인코딩된 1차 비디오 스트림, 예를 들어 도 5의 스트림 A를,
· 1차 윈도우 내의, 예를 들어 도 5의 윈도우(16)인 서브-윈도우와 연관되고, 믹싱에 포함되지 않은 인코딩된 믹싱되지 않은 서브-스트림 및,
· 1차 윈도우 내의, 예를 들어 도 5의 윈도우(18)와 연관되고, 믹싱에 포함된 인코딩된 상보적인 서브-스트림으로 분할한다.
단계 S2는 상보적인 서브-스트림 및 각각의 2차 비디오 스트림, 예를 들어 도 5의 B, C를 디코딩한다. 단계 S3은 디코딩된 상보적인 서브-스트림을 각각의 디코딩된 2차 비디오 스트림으로 믹싱해서, 믹싱된 비디오 시그널을 형성한다. 단계 S4는 믹싱된 비디오 시그널을 인코딩된 믹싱된 서브-스트림으로 인코딩한다. 단계 S5는 인코딩된 믹싱되지 않은 서브-스트림과 인코딩된 믹싱된 서브-스트림을 결합한다. 디코더의 시점으로부터 결합된 비디오는 종래 기술과 동일하다.
지금까지 상세한 설명은 소정의 비디오 인코딩 표준을 명확하게 언급하지 않았다. 예의 실시형태가 ITU-T 표준 H.264를 참조로 기술된다.
도 7은 H.264에 따라 인코딩된 비디오 스트림의 구조를 도시한다. 이 예에 있어서, 비디오 프레임은 슬라이스(slice)로 인코딩되는데, 이 슬라이스는 IP 패킷으로 송신된다. 각각의 패킷은 실재 슬라이스 정보를 포함하는 패이로드에 부가해서 IP, UDP(User Data gram Protocol) 및 RTP(Real-time Transport Protocol) 헤더를 포함한다(다른 구성이 또한 가능하지만 본 예만으로 제안된 기술의 개념을 설명하는데 충분하다). 슬라이스는 슬라이스 헤더 및 실재 데이터를 포함한다. 슬라이스 헤더는 세트의 파라미터를 포함하는데, 이중 하나가 "first_mb_in_slice"이다. 여기서, "mb"는 매크로 블록을 언급하는데, 전형적으로 16x16 화소를 나타낸다. 더 상세한 설명은 [1]에서 찾을 수 있다.
제안된 기술의 실시형태에 있어서, 믹싱에 포함된 매크로 블록 및 믹싱에 포함되지 않은 매크로 블록이 결정된다. 그 후, 인코딩된 1차 비디오 스트림, 예를 들어 도 5의 A가 믹싱에 포함되지 않은 매크로 블록의 적어도 하나의 믹싱되지 않은 슬라이스 및 믹싱에 포함된 매크로 블록의 적어도 하나의 상보적인 슬라이스로 분리된다.
제안된 기술의 실시형태에 있어서, 각각의 상보적인 슬라이스의 매크로 블록은 디코딩 전에 리넘버링(renumbered)된다. 믹싱 및 인코딩 후 리넘버링된 매크로 블록의 넘버링은 원래로 되돌려진다(reset).
1차 비디오 스트림이 본 명세서에 기술된 방식으로 분할될 때, 믹싱되지 않은 및 상보적인 서브-스트림은 서로로부터 "차폐"되어야 한다. 이는, 한 서브-스트림 내의 부분이 다른 서브-스트림 내의 소정의 부분을 언급할 수 없는 것을 의미한다. 예를 들어, 모션 벡터 인코딩이 제한되어야 하는 동안을 검색하므로, 이들은 바운더리의 다른 측면 상에서 매크로 블록을 언급하지 않는다. 즉, 부분(18) 내의 매크로 블록에 속하는 모션 벡터는 부분(16)에 속하는 프레임 영역을 언급하지 않게 된다(그리고 반대로). 서로로부터 다른 부분의 이 "차폐"를 달성하는 하나의 방법은, 예를 들어 바닥 부분(18)의 제1매크로 블록의 인덱스를 시그널링함으로써, 바운더리의 위치의 1차 비디오 스트림을 생성하는 기원하는 인코더를 알리는 것이다. 그 다음, 기원하는 인코더는 1차 비디오 스트림을 인코딩할 수 있어, 매크로 블록이 바운더리를 교차하는 영역을 언급하지 않게 한다. 그 다음, 비디오 스트림 스플리터(20)는 1차 비디오 스트림을 2개의 독립적인 스트림으로 분리할 수 있다. 기원하는 인코더가 이 정보를 수신하지 않으면, 스트림은 대신 트랜스코딩(디코딩된 및 인코딩된)될 수 있어서, 서로로부터 "차폐된" 2개의 부분을 포함하게 된다. 이는, 한 번만 수행되어야 하므로, 이 실시형태는 여전히 다수의 믹서가 생산되는 종래 기술보다 더 효율적이다.
다양한 비디오 프레임 구성이 도 8A-C에 도시된다. 모든 경우에 있어서, 상부 및 바닥 부분은, 이미 기원하는 인코더에서의 바운더리로 인코딩됨으로써 또는 비디오 스트림 스플리터 전에 트랜스코딩에 의해, 상기된 바와 같이 서로로부터 "차폐"되는 것으로 추정된다.
도 8A의 예는 직선의 바운더리(점선)에 의해 분리된 상부 슬라이스 및 바닥 슬라이스를 포함한다. 이 경우에 있어서, 바닥 슬라이스는,
바닥 슬라이스의 파라미터 first_mb_in_slice를 디코더를 "풀(fool)"로 설정해서, 프레임만이 바닥 슬라이스를 포함하는 것을 고려함으로써, 단순하게 디코딩될 수 있다. 예를 들어, 바닥 슬라이스의 제1매크로 블록이 넘버 66을 가지면, 1로 설정된다(디코더가 제1매크로 블록에 대해서 이 넘버를 기대하는 것을 추정). 믹싱 및 인코딩 후, 제1매크로 블록이 66으로 원래로 되돌려지므로, 인코딩된 믹스는 바닥 슬라이스로서 인코딩된 상부 슬라이스(디코딩되지 않은)에 부가될 수 있다. 모든 다른 파라미터는 오리지널의 1차 스트림에서와 동일하다.
도 8B의 예는 직선이 아닌 바운더리에 의해 분리된 상부 슬라이스 및 바닥 슬라이스를 포함한다. 그런데, 매크로 블록의 사이즈 및 전체 비디오 프레임의 폭 및 높이의 사이즈가 공지되므로, 이 경우에서 경계가 특별하게 결정될 수 있다. 따라서, 디코딩, 믹싱 및 인코딩이 도 8A에서와 같이 수행된다.
도 8C에서의 예는 상부 슬라이스 및 2개의 바닥 슬라이스를 포함한다. 상부 및 바닥 슬라이스는 직선이 아닌 바운더리에 의해 분리된다. 이 경우에 있어서, 파라미터 "first_mb_in_slice"는, 디코딩 전에 2 바닥 슬라이스 내에서, 각각 1 및 1+상부 바닥 슬라이스 내의 매크로 블록의 넘버로 설정해야 한다. 유사하게, 양쪽의 바닥 슬라이스의 넘버링은 믹싱 및 인코딩 후 원래로 되돌려진다.
도 9는 제안된 기술에 따른 비디오 스트림 믹서(60)의 실시형태의 블록도이다. 인코딩된 1차 비디오 스트림, 예를 들어 도 5의 스트림 A를 수신하는 비디오 스트림 스플리터(2: 비디오 스트림 분할기)는, 이를,
· 1차 윈도우 내에서 서브-윈도우(16)와 연관되고 믹싱에 포함된 인코딩된 믹싱되지 않은 서브-스트림 및,
· 1차 윈도우 내의 다른 서브-윈도우에 상보적인 서브-윈도우(18)와 연관되고 믹싱에 포함된 인코딩된 상보적인 서브-스트림으로 분할한다.
비디오 스트림 디코더(22)는 상보적인 서브-스트림 및 각각의 2차 비디오 스트림, 예를 들어 도 5의 스트림 B, C를 디코딩하도록 구성된다. 비디오 시그널 믹서(24)는 디코딩된 상보적인 서브-스트림을 각각의 디코딩된 2차 비디오 스트림으로 디코딩하여, 믹싱된 비디오 시그널을 형성하도록 구성된다. (디코딩된 2차 비디오 스트림이 믹싱 전에 "작은" 윈도우로 재스케일(rescaled)되는 것으로 상정). 비디오 인코더(26)는 믹싱된 비디오 시그널을 인코딩된 믹싱된 서브-스트림으로 인코딩하도록 구성된다. 비디오 스트림 결합기(28)는 인코딩된 믹싱되지 않은 서브-스트림과 인코딩된 믹싱된 서브-스트림을 결합하도록 구성된다.
도 10은 제안된 기술에 따른 비디오 스트림 믹서(60)의 실시형태의 블록도이다. 믹스 존 검출기(32)가, 믹싱에 포함된 매크로 블록 및 믹싱에 포함되지 않은 매크로 블록을 결정하도록 구성된다. 슬라이스 분리기(34)가, 인코딩된 1차 비디오 스트림, 예를 들어 도 5의 스트림 A를 믹싱에 포함되지 않은 매크로 블록의 적어도 하나의 믹싱되지 않은 슬라이스 및 믹싱에 포함된 매크로 블록의 적어도 하나의 상보적인 슬라이스로 분리하도록 구성된다.
도 11은 비디오 스트림 스플리터(20)의 실시형태의 블록도이다. 이 실시형태에 있어서, 슬라이스 분리기(34)는 디코딩 전에 각각의 상보적인 슬라이스의 매크로 블록을 리넘버링 하도록 구성된 매크로 블록 리넘버링 유닛(36)을 포함한다. 스위치 SW는 믹싱에 포함된 슬라이스를 매크로 블록 리넘버링 유닛(36)으로 지향시키고, 믹싱에 포함되지 않은 슬라이스를 비디오 스트림 결합기(28)로 지향시킨다.
도 12는 비디오 스트림 결합기(28)의 실시형태의 불록도이다. 매크로 블록 넘버링 리셋 유닛(38)이 믹싱 및 인코딩 후 리넘버링된 매크로 블록의 넘버링을 원래로 되돌리도록 구성되고, 슬라이스 결합기(40)가 믹싱되지 않은 및 믹싱된 슬라이스를 결합하도록 구성된다.
본 명세서에 기술된 단계, 기능, 과정 및/또는 블록은, 일반 목적 전자 회로 및 애플리케이션 특정 회로를 포함하는 이산된 회로 또는 통합된 회로 기술과 같은, 소정의 통상적인 기술을 사용하는 하드웨어로 실행될 수 있다.
본 명세서에 기술된 적어도 몇몇의 단계, 기능, 과정 및/또는 블록은 적합한 처리 장비에 의한 실행을 위한 소프트웨어로 실행될 수 있다. 이 장비는, 예를 들어 하나 또는 다수의 마이크로 프로세서, 하나 또는 다수의 디지털 시그널 프로세서(DSP), 하나 또는 다수의 애플리케이션 특정 통합된 회로(ASIC), 비디오 가속된 하드웨어 또는 FPGA(Field Programmable Gate Array)와 같은 하나 또는 다수의 적합한 프로그래머블 로직 장치를 포함할 수 있다. 또한, 이러한 처리 엘리먼트의 결합이 실현 가능하다.
미디어 리소스 기능에서 이미 나타낸 일반적인 처리 능력을 재사용하는 것이 가능할 수 있다. 이는, 예를 들어, 존재하는 소프트웨어의 재프로그래밍 또는 신규한 소프트웨어 컴포넌트의 부가에 의해 수행될 수 있다.
도 13은 제안된 기술에 따른 비디오 스트림 믹서(60)의 실시형태의 블록도이다. 이 실시형태는 프로세서(110), 예를 들어 마이크로 프로세서에 기반하는데, 이는 인코딩된 1차 비디오 스트림을 분할하기 위한 소프트웨어(120), 상보적인 서브-스트림 및 각각의 2차 비디오 스트림을 디코딩하기 위한 소프트웨어(130), 디코딩된 스트림을 믹싱하기 위한 소프트웨어(140), 믹싱된 비디오 시그널을 인코딩하기 위한 소프트웨어(150) 및, 인코딩된 믹싱되지 않은 서브-스트림과 인코딩된 믹싱된 서브-스트림을 결합하기 위한 소프트웨어(160)를 실행한다. 소프트웨어는 메모리(170) 내에 기억된다. 프로세서(110)는 시스템 버스에 걸쳐서 메모리와 통신한다. 인입하는 1차 및 2차 비디오 스트림은 I/O 버스를 제어하는 입력/출력(I/O) 제어기(180)에 의해 수신되는데, 이 I/O 버스에 프로세서(110) 및 메모리(130)가 접속된다. 이 실시형태에 있어서, I/O 제어기(180)에 의해 수신된 슬라이스는 메모리(170) 내에 기억되는데, 여기서 이들은 소프트웨어(120-160)에 의해 처리된다. 소프트웨어(120)는 비디오 스트림 스플리터(20)의 기능성을 실행할 수 있다. 소프트웨어(130)는 비디오 스트림 디코더(22)의 기능성을 실행할 수 있다. 소프트웨어(140)는 비디오 시그널 믹서(24)의 기능성을 실행할 수 있다. 소프트웨어(150)는 비디오 인코더(26)의 기능성을 실행할 수 있다. 소프트웨어(160)는 비디오 스트림 결합기(28)의 기능성을 실행할 수 있다. 소프트웨어(160)로부터 획득된 결합 인코딩된 비디오 스트림은 I/O 버스에 걸쳐서 I/O 제어기(180)에 의해 메모리(170)로부터 출력된다.
도 14는 제안된 기술에 기반한 일 예의 비디오 회의 시스템을 도시하는 도면이다. 이는, 제안된 기술에 따른 비디오 스트림 믹서(60)를 포함하는 미디어 리소스 기능 프로세서 MRFP와 함께 미디어 리소스 기능 MRF을 포함한다.
제안된 기술은, 처리 파워 및 메모리 리소스가 제한될 때 이득이 되는데, 대부분의 DSP 플랫폼에서의 경우와 같다. 제안된 기술은 종래 기술의 브루트 포스(brute force) 방법을 사용할 때, 그것이 되는 부분에 대한 시스템의 요구된 전체 처리 파워를 감소시키는 방법을 나타낸다. 이는, 특히 비디오 회의의 경우인데, 여기서는 다수의 믹스가 생성된다. 정확한 처리 이득은 믹싱에 포함되지 않은 비디오 프레임의 부분의 사이즈 및 생성된 믹스의 넘버(수)에 의존한다.
제안된 기술은, 모든 프레임을 완전히 디코딩하고, 다수의 믹스를 생성하며, 동일한 프로세서 내의 큰 믹스들을 인코딩하기 위해 불충분한 파워가 있는 경우에 특히 이득이 된다. 하나의 프로세서가 하나의 인코딩만 수행하고, 모든 프로세서가 동일한 메모리에 액세스하지 않으면, 디코딩이 종래 기술에서 다수 회 수행되어야 한다.
제안된 기술의 다른 장점은, 더 적은 처리 및 메모리 요구조건은 더 적은 파워 소비에 대응하므로, 이것이 환경적으로 친숙한 것이다.
본 기술 분야의 당업자는, 다양한 변경 및 변화가 첨부된 청구항들에 의해 규정되는 그 범위로부터 벗어남이 없이, 제안된 기술에 대해서 만들어질 수 있는 것으로 이해하게 된다.
참조(REFERENE)
[1] ITU-T H264 "Slice header semantics" ection 7.4.3
첨부(ABBREVIATIONS)
ASIC Application Specific Integrated Circuits
DSP Digital Signal Processor
FPGA Field Programmable Gate Array
IMS IP Multimedia Subsystem
IP Internet Protocol
MRF Media Resource Function
RTP Real-time Transport Protocol
UDP User Data gram Protocol

Claims (11)

1차 윈도우와 연관된 인코딩된 1차 비디오 스트림 및 1차 윈도우보다 작은 대응하는 2차 윈도우와 각각 연관된 적어도 하나의 인코딩된 2차 비디오 스트림으로부터 믹싱된 인코딩된 비디오 스트림을 생성하는 방법으로서:
인코딩된 1차 비디오 스트림(A)을, 상기 인코딩된 1차 비디오 스트림 A의 비디오 프레임 구성에 기반해서,
- 1차 윈도우 내의, 서브-윈도우(16)와 연관되고, 믹싱에 포함되지 않은 인코딩된 믹싱되지 않은 서브-스트림 및,
- 1차 윈도우 내의 다른 서브-윈도우에 상보적인 서브-윈도우(18)와 연관되고, 믹싱에 포함된 인코딩된 상보적인 서브-스트림으로 분할(S1)하는 단계와;
상보적인 서브-스트림 및 각각의 2차 비디오 스트림(B, C)을 디코딩(S2)하는 단계와;
디코딩된 상보적인 서브-스트림을 각각의 디코딩된 2차 비디오 스트림으로 믹싱(S3)해서, 믹싱된 비디오 시그널을 형성하는 단계와;
믹싱된 비디오 시그널을 인코딩된 믹싱된 서브-스트림으로 인코딩(S4)하는 단계와;
인코딩된 믹싱되지 않은 서브-스트림과 인코딩된 믹싱된 서브-스트림을 결합(S5)하는 단계를 포함하는 것을 특징으로 하는 방법.
제1항에 있어서,
믹싱에 포함된 매크로 블록 및 믹싱에 포함되지 않은 매크로 블록을 결정하는 단계와;
인코딩된 1차 비디오 스트림(A)을 믹싱에 포함되지 않은 매크로 블록의 적어도 하나의 믹싱되지 않은 슬라이스 및 믹싱에 포함된 매크로 블록의 적어도 하나의 상보적인 슬라이스로 분리하는 단계를 포함하는 것을 특징으로 하는 방법.
제2항에 있어서,
디코딩 전에 각각의 상보적인 슬라이스의 매크로 블록을 리넘버링하는 단계와;
믹싱 및 인코딩 후 리넘버링된 매크로 블록의 넘버링을 원래로 되돌리는 단계를 포함하는 것을 특징으로 하는 방법.
1차 윈도우와 연관된 인코딩된 1차 비디오 스트림 및 1차 윈도우보다 작은 대응하는 2차 윈도우와 각각 연관된 적어도 하나의 인코딩된 2차 비디오 스트림으로부터 믹싱된 인코딩된 비디오 스트림을 생성하는 비디오 스트림 믹서로서:
인코딩된 1차 비디오 스트림(A)을, 상기 인코딩된 1차 비디오 스트림 A의 비디오 프레임 구성에 기반해서,
- 1차 윈도우 내의, 서브-윈도우(16)와 연관되고, 믹싱에 포함되지 않은 인코딩된 믹싱되지 않은 서브-스트림 및,
- 1차 윈도우 내의 다른 서브-윈도우에 상보적인 서브-윈도우(18)와 연관되고, 믹싱에 포함된 인코딩된 상보적인 서브-스트림으로 분할하도록 구성된 비디오 스트림 스플리터(20)와;
상보적인 서브-스트림 및 각각의 2차 비디오 스트림(B, C)을 디코딩하도록 구성된 비디오 스트림 디코더(22)와;
디코딩된 상보적인 서브-스트림을 각각의 디코딩된 2차 비디오 스트림으로 믹싱하도록 구성되어, 믹싱된 비디오 시그널을 형성하는 비디오 시그널 믹서(24)와;
믹싱된 비디오 시그널을 인코딩된 믹싱된 서브-스트림으로 인코딩하도록 구성된 비디오 인코더(26)와;
인코딩된 믹싱되지 않은 서브-스트림과 인코딩된 믹싱된 서브-스트림을 결합하도록 구성된 비디오 스트림 결합기(28)를 포함하는 것을 특징으로 하는 믹서.
제4항에 있어서,
믹싱에 포함된 매크로 블록 및 믹싱에 포함되지 않은 매크로 블록을 결정하도록 구성된 믹스 존 검출기(32)와;
인코딩된 1차 비디오 스트림(A)을 믹싱에 포함되지 않은 매크로 블록의 적어도 하나의 믹싱되지 않은 슬라이스 및 믹싱에 포함된 매크로 블록의 적어도 하나의 상보적인 슬라이스로 분리하도록 구성된 슬라이스 분리기(34)를 포함하는 것을 특징으로 하는 믹서.
제5항에 있어서,
슬라이스 분리기(34)가 디코딩 전에 각각의 상보적인 슬라이스의 매크로 블록을 리넘버링하도록 구성된 매크로 블록 리넘버링 유닛(36)을 포함하는 것을 특징으로 하는 믹서.
제6항에 있어서,
믹싱 및 인코딩 후 리넘버링된 매크로 블록의 넘버링을 원래로 되돌리도록 구성된 매크로 블록 넘버링 리셋 유닛(38)과;
믹싱되지 않은 및 믹싱된 슬라이스를 결합하도록 구성된 슬라이스 결합기(40)를 포함하는 것을 특징으로 하는 믹서.
미디어 리소스 기능 프로세서(MRFP) 장치로서,
청구항 제4항 내지 제7항 중 어느 한 항에 따른 비디오 스트림 믹서(60)를 포함하는 것을 특징으로 하는 미디어 리소스 기능 프로세서 장치.
미디어 리소스 기능(MRF) 장치로서,
제8항에 따른 미디어 리소스 기능 프로세서(MRFP) 장치를 포함하는 것을 특징으로 하는 미디어 리소스 기능 장치.
비디오 회의 시스템으로서,
제9항에 따른 미디어 리소스 기능(MRF) 장치를 포함하는 것을 특징으로 하는 비디오 회의 시스템.
비디오 회의 시스템으로서,
청구항 제4항 내지 제7항 중 어느 한 항에 따른 비디오 스트림 믹서(60)를 포함하는 것을 특징으로 하는 비디오 회의 시스템.
KR1020147027339A 2012-03-13 2012-03-13 인코딩된 비디오 스트림의 믹싱 KR101686723B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/SE2012/050278 WO2013137784A1 (en) 2012-03-13 2012-03-13 Mixing of encoded video streams

Publications (2)

Publication Number Publication Date
KR20140136013A KR20140136013A (ko) 2014-11-27
KR101686723B1 true KR101686723B1 (ko) 2016-12-14

Family

ID=49161556

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147027339A KR101686723B1 (ko) 2012-03-13 2012-03-13 인코딩된 비디오 스트림의 믹싱

Country Status (6)

Country Link
US (1) US9386066B2 (ko)
EP (1) EP2826236A4 (ko)
JP (1) JP6001157B2 (ko)
KR (1) KR101686723B1 (ko)
CN (1) CN104160694B (ko)
WO (1) WO2013137784A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5914962B2 (ja) * 2010-04-09 2016-05-11 ソニー株式会社 画像処理装置および方法、プログラム、並びに、記録媒体
US9648072B2 (en) 2012-01-31 2017-05-09 Comcast Cable Communications, Llc System and method for data stream fragmentation with scalability
CN106341622B (zh) * 2015-07-06 2020-01-24 阿里巴巴集团控股有限公司 一种多路视频流的编码方法及装置
KR102324609B1 (ko) * 2017-12-22 2021-11-10 한국전자통신연구원 다지점 영상회의 장치 및 그 제어 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004023706A (ja) 2002-06-20 2004-01-22 Matsushita Electric Ind Co Ltd 多地点会議システム
US20070189717A1 (en) 2006-02-01 2007-08-16 Samsung Electronics Co., Ltd. Video playback apparatus and method for controlling the same
JP2009505589A (ja) 2005-08-19 2009-02-05 クゥアルコム・インコーポレイテッド ビデオテレフォニーのためのピクチャーインピクチャー処理

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7492387B2 (en) * 2002-08-05 2009-02-17 Chih-Lung Yang Implementation of MPCP MCU technology for the H.264 video standard
JP2005341325A (ja) 2004-05-28 2005-12-08 Nippon Telegr & Teleph Corp <Ntt> 多地点テレビ会議システム，多地点テレビ会議制御方法，サーバ装置，多地点テレビ会議制御プログラムおよびそのプログラム記録媒体
TW200727653A (en) * 2006-01-03 2007-07-16 Avermedia Tech Inc Digital media multiplexer and method thereof
EP2328364B1 (en) * 2006-10-13 2020-07-01 Auro Technologies NV A method and encoder for combining digital data sets, a decoding method and decoder for such combined digital data sets and a record carrier for storing such combined digital data set
JP4256421B2 (ja) * 2006-11-21 2009-04-22 株式会社東芝 映像合成装置、映像合成方法及び映像合成処理プログラム
US8228980B2 (en) * 2009-05-29 2012-07-24 Texas Instruments Incorporated Media gateway with overlay channels
WO2012010188A1 (de) * 2010-07-23 2012-01-26 Siemens Enterprise Communications Gmbh & Co. Kg Verfahren zur zeitlichen synchronisierung der intrakodierung von verschiedenen unterbildern bei der erzeugung einer mischbildervideosequenz
US8704871B2 (en) * 2010-08-31 2014-04-22 Polycom, Inc. Method and system for creating a continuous presence video-conference

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004023706A (ja) 2002-06-20 2004-01-22 Matsushita Electric Ind Co Ltd 多地点会議システム
JP2009505589A (ja) 2005-08-19 2009-02-05 クゥアルコム・インコーポレイテッド ビデオテレフォニーのためのピクチャーインピクチャー処理
US20120050452A1 (en) 2005-08-19 2012-03-01 Qualcomm Incorporated Picture-in-picture processing for video telephony
US20070189717A1 (en) 2006-02-01 2007-08-16 Samsung Electronics Co., Ltd. Video playback apparatus and method for controlling the same

Also Published As

Publication number Publication date
WO2013137784A1 (en) 2013-09-19
EP2826236A4 (en) 2015-08-26
EP2826236A1 (en) 2015-01-21
US9386066B2 (en) 2016-07-05
CN104160694B (zh) 2018-08-28
KR20140136013A (ko) 2014-11-27
CN104160694A (zh) 2014-11-19
JP6001157B2 (ja) 2016-10-05
JP2015515190A (ja) 2015-05-21
US20150130889A1 (en) 2015-05-14

Similar Documents

Publication Publication Date Title
US11503250B2 (en) Method and system for conducting video conferences of diverse participating devices
US10951874B2 (en) Incremental quality delivery and compositing processing
EP2863632B1 (en) System and method for real-time adaptation of a conferencing system to current conditions of a conference session
US20110292161A1 (en) Systems And Methods For Scalable Video Communication Using Multiple Cameras And Multiple Monitors
US20220279254A1 (en) Facilitating Video Streaming and Processing By Edge Computing
JP2019530996A (ja) マルチメディア通信におけるコンパクト並列コーデックの使用のための方法および装置
CN101147400A (zh) 分屏多媒体视频会议
KR101686723B1 (ko) 인코딩된 비디오 스트림의 믹싱
US20140079118A1 (en) Region of Interest (ROI) Request and Inquiry in a Video Chain
Sanchez et al. Low complexity cloud-video-mixing using HEVC
CN112040234B (zh) 视频编码、解码方法和装置、电子设备及存储介质
CN111416975A (zh) 预测模式确定方法和装置
CN112740276A (zh) 用于帧内参考样本插值滤波器切换的方法和装置
Han et al. Four-way video conference and its session control based on distributed mini-MCU in home server
Baskaran et al. Building a real-time multiple H. 264 video streaming system based on intel IPP
WO2024080904A1 (en) Selective application of neural network based filtering to picture regions
CN114600468A (zh) 将复合视频流中的视频流与元数据组合

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant