KR101617906B1 - 다중 비트 전송률 스트림을 사용한 영상 회의 구독 - Google Patents

다중 비트 전송률 스트림을 사용한 영상 회의 구독 Download PDF

Info

Publication number
KR101617906B1
KR101617906B1 KR1020117013104A KR20117013104A KR101617906B1 KR 101617906 B1 KR101617906 B1 KR 101617906B1 KR 1020117013104 A KR1020117013104 A KR 1020117013104A KR 20117013104 A KR20117013104 A KR 20117013104A KR 101617906 B1 KR101617906 B1 KR 101617906B1
Authority
KR
South Korea
Prior art keywords
video
stream
client
video stream
source
Prior art date
Application number
KR1020117013104A
Other languages
English (en)
Other versions
KR20110103948A (ko
Inventor
밍-치에흐 리
무 한
팀 무어
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20110103948A publication Critical patent/KR20110103948A/ko
Application granted granted Critical
Publication of KR101617906B1 publication Critical patent/KR101617906B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1818—Conference organisation arrangements, e.g. handling schedules, setting up parameters needed by nodes to attend a conference, booking network resources, notifying involved parties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/633—Control signals issued by server directed to the network components or client
    • H04N21/6332—Control signals issued by server directed to the network components or client directed to client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1863—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast comprising mechanisms for improved reliability, e.g. status reports
    • H04L12/1877—Measures taken prior to transmission

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Abstract

다중 비트 전송률 스트림을 사용하는 영상 회의에의 구독이 제공될 수 있다. 영상 회의 서버는 영상 회의에서 각각의 클라이언트로부터 비디오 스트림을 수신할 수 있고, 각각의 클라이언트로부터 구독 요청을 수신할 수 있다. 구독 요청은 주어진 해상도 및/또는 프레임 레이트로 특정의 다른 클라이언트로부터의 비디오 스트림을 보라는 요청을 포함할 수 있다. 영상 회의 서버는, 구독하는 클라이언트들에게 그들이 원하는 비디오 스트림을 전송하기 위해, 수신된 비디오 스트림을 구독 요청과 매칭시킬 수 있다. 이 서버는 또한 참가자에게 상이한 버전의 비디오 스트림(예를 들어, 상이한 해상도)을 요청하고 및/또는 구독 요청과 더 잘 부합하도록 비디오 스트림을 변경할 수 있다.

Description

다중 비트 전송률 스트림을 사용한 영상 회의 구독{VIDEO CONFERENCING SUBSCRIPTION USING MULTIPLE BIT RATE STREAMS}
영상 회의 구독(video conference subscription)은 클라이언트가 어느 참가자를 보고 싶어하는지를 선택할 수 있게 해준다. 영상 전화 회의(video conference call)는 2개 및/또는 그 이상의 장소가 양방향 비디오 및 오디오 전송을 통해 동시에 대화할 수 있게 해주는 대화형 전기 통신 기술을 사용할 수 있다. 영상 회의는 오디오 및 비디오의 전기 통신을 사용하여 서로 다른 위치에 있는 사람들을 회의에 모이게 할 수 있다. 이것은 개인 사무실 내의 2명의 사람 간의 대화일 수 있거나(지점간), 2명 이상의 사람이 서로 다른 장소에 있는 대형 회의실에 있는 경우 몇개의 장소를 수반할 수 있다(다중-지점). 회의 활동의 오디오 및 비디오 전송 이외에, 영상 회의는 문서, 컴퓨터에 의해 디스플레이되는 정보, 및 화이트보드를 공유하는 데 사용될 수 있다. 오디오/비디오 전송은 캡처되고 레코딩되어, 인코딩이라고 알려진 프로세스를 사용하여 디지털화되고, 컴퓨터 네트워크 등의 통신 매체를 통해 다른 장소로 전송되며, 수신되고 디코딩되어 비디오 회의의 다른 참가자에게 디스플레이될 수 있다. 수많은 인코딩/디코딩 표준이 이 프로세스와 호환된다.
영상 회의에서의 종래의 전략은 비디오 콘텐츠를 혼합(모든 들어오는 비디오 스트림을 디코딩하고, 이들을 하나로 모아서 이를 하나의 스트림으로 재인코딩하고 재인코딩된 스트림을 모든 참가자에게 전송)하는 대신에 한 참가자로부터 다른 참가자로 비디오 스트림을 라우팅하는 것이다. 따라서, 일부 시스템은, 모든 참가자로부터의 비디오를 보여주거나 사용자가 자신이 원하는 임의의 참가자를 보기 위해 선택할 수 있게 해주는 대신에, 영상 전화 회의에서의 활성 발표자로 전환하여 그 활성 발표자만을 보여줄 수 있다. 게다가, 종래의 시스템은 클라이언트가 혼합된 정적 스트림(static mixed stream)보다는 특정의 스트림에 구독할 수 있게 해주지 못할 수 있거나, 클라이언트가 대역폭 제약조건으로 인해 그만큼의 스트림을 수신하지 못할 수 있다.
<요약>
다중 비트 전송률 스트림을 사용하는 영상 회의 구독이 제공될 수 있다. 이 요약은 이하에서 상세한 설명에 더 기술되는 일련의 개념을 간략화된 형태로 소개하기 위해 제공된 것이다. 이 요약은 청구된 발명 대상의 주요 특징 또는 필수적인 특징을 확인하기 위한 것이 아니다. 이 요약은 청구된 발명 대상의 범위를 제한하는 데 사용되기 위한 것도 아니다.
영상 회의 구독이 제공될 수 있다. 영상 회의 서버는 영상 회의에서 각각의 클라이언트로부터 다수의 상이한 비트 전송률로 비디오 스트림을 수신할 수 있고, 각각의 클라이언트로부터 구독 요청을 수신할 수 있다. 구독 요청은 주어진 해상도 및/또는 프레임 레이트로 특정의 다른 클라이언트로부터의 비디오 스트림을 보라는 요청을 포함할 수 있다. 영상 회의 서버는, 구독하는 클라이언트들에게 그들이 원하는 비디오 스트림을 전송하기 위해, 수신된 비디오 스트림을 구독 요청과 매칭시킬 수 있다. 이 서버는 또한 참가자에게 상이한 버전의 비디오 스트림(예를 들어, 상이한 해상도)을 요청하고 및/또는 구독 요청과 더 잘 부합하도록 비디오 스트림을 변경할 수 있다.
이상의 개괄적인 설명 및 이하의 상세한 설명 둘다가 일례를 제공하며 단지 설명을 위한 것이다. 그에 따라, 이상의 개괄적인 설명 및 이하의 상세한 설명은 제한하는 것으로 간주되어서는 안된다. 게다가, 본 명세서에 기술된 것에 부가하여 여러 특징 또는 변형이 제공될 수 있다. 예를 들어, 실시예는 상세한 설명에 기술된 다양한 특징 컴비네이션 및 서브-컴비네이션에 관한 것일 수 있다.
본 명세서에 포함되어 그 일부를 구성하는 첨부 도면은 본 발명의 다양한 실시예를 나타내고 있다.
도 1은 영상 회의 환경의 블록도.
도 2는 다양한 비디오 구독 구성을 나타낸 도면.
도 3은 MBR(multiple bit rate, 다중 비트 전송률) 인코딩을 나타낸 도면.
도 4는 영상 회의에의 구독을 제공하는 방법의 플로우차트.
도 5는 구독 요청에 매칭되는 비디오 스트림을 선택하는 도 4의 방법에서 사용되는 서브루틴의 플로우차트.
도 6은 컴퓨팅 장치를 포함하는 시스템의 블록도.
이하의 상세한 설명은 첨부 도면을 참조한다. 가능한 경우, 도면 및 이하의 설명에서 동일하거나 유사한 구성요소를 지칭하기 위해 동일한 참조 번호가 사용된다. 본 발명의 여러 실시예가 기술되어 있을 수 있지만, 수정, 개조 및 기타 구현이 가능하다. 예를 들어, 도면에 예시된 구성요소에 치환, 추가 또는 수정이 행해질 수 있으며, 본 명세서에 기술된 방법은 개시된 방법에 대해 단계를 치환, 재정렬 또는 추가함으로써 수정될 수 있다. 그에 따라, 이하의 상세한 설명은 본 발명을 제한하지 않는다. 그 대신에, 본 발명의 적절한 범위가 첨부된 특허청구범위에 의해 한정된다.
영상 회의에의 구독이 제공될 수 있다. 본 발명의 실시예에 따르면, 영상 회의에 참여하고 있는 다른 클라이언트들에 의해 제공되는 비디오 스트림에 구독하기 위한 클라이언트의 요청에 따라 클라이언트에게 데이터를 스트리밍하기 위해 MBR(multiple bit rate) 방식이 사용될 수 있다. 예를 들어, 한 클라이언트는 영상 회의에서의 다른 참여 클라이언트들 각각으로부터의 비디오 소스 스트림을 동시에 보고자 할 수 있는 반면, 다른 클라이언트는 하나의 다른 클라이언트로부터의 스트림만을 보고자 한다.
도 1은 영상 회의 환경(100)의 블록도이다. 영상 회의 환경(100)은 인트라넷 클라이언트(110) 및 인트라넷 네트워크 연결(115)을 통해 연결된 영상 회의 서버(120)를 포함할 수 있다. 영상 회의 환경(100)은 제1 인터넷 클라이언트(130), 제2 인터넷 클라이언트(140), 및 제3 인터넷 클라이언트(150)를 추가로 포함할 수 있다. 각각의 인터넷 클라이언트는 인터넷(160)을 통해 영상 회의 서버(120)에 연결될 수 있다. 본 발명의 실시예에 따르면, 영상 회의 서버(120), 인트라넷 클라이언트(110), 제1 인터넷 클라이언트(130), 제2 인터넷 클라이언트(140) 및 제3 인터넷 클라이언트(150) 각각은 도 6과 관련하여 이하에서 더 상세히 기술되는 컴퓨팅 장치(600)를 포함할 수 있다.
다수의 클라이언트가 서로 간에 비디오 스트림을 공유하고자 할 때 영상 회의 환경(100)이 사용될 수 있다. 각각의 클라이언트는 영상 회의 서버(120)에 연결될 수 있다. 영상 회의 서버(120)는 어느 클라이언트가 연결되어 있는지 및 각각의 클라이언트의 기능이 무엇인지의 리스트를 유지할 수 있다. 본 발명의 실시예에 따르면, 영상 회의 서버(120)는 어느 클라이언트가 비디오 스트림을 영상 회의 서버(120)에 송신하는 일을 맡고 있을 수 있는지를 판정하는 책임을 지고 있을 수 있다. 영상 회의 서버(120)는 클라이언트로부터 수신된 비디오 스트림을 다른 연결된 클라이언트들로 송출할 수 있다. 비디오 스트림은 일련의 비디오 프레임으로 인코딩될 수 있고, 각각의 프레임은 단일 이미지를 포함할 수 있다. 각각의 프레임은 데이터 비트로 표현될 수 있다. 비디오 스트림의 소스를 표현하기 위해 모든 프레임 내의 모든 데이터 비트가 송신될 필요는 없도록 비디오 스트림이 인코딩될 수 있다. 비디오 스트림을 인코딩 및/또는 압축하기 위해 상이한 프레임 유형이 사용될 수 있다.
각각의 클라이언트는 영상 회의 서버(120)에 송신할 적어도 하나의 비디오 스트림을 인코딩할 수 있다. 예를 들어, 각각의 클라이언트는 클라이언트에 연결된 웹캠 및/또는 마이크 등의 오디오/비디오 입력을 가질 수 있다. 이 입력을 사용하여 (오디오를 포함할 수 있는) 비디오 스트림을 생성할 수 있고, 클라이언트는 비디오 스트림을 영상 회의 서버(120)에 송신하기 전에 비디오 스트림을 인코딩할 수 있다. 영상 회의 서버(120)는 각각의 클라이언트로부터 인코딩된 스트림을 수신하고 어느 스트림을 각각의 클라이언트에 중계해야 하는지를 결정할 수 있다. 예를 들어, 인트라넷 클라이언트(110)는 비디오 스트림을 현재 말하고 있는 사람을 포함하는 일련의 비디오 프레임으로서 인코딩할 수 있다. 영상 회의 서버(120)는 인트라넷 클라이언트(110)로부터의 현재 발표자를 보여주는 인코딩된 스트림을 제1 인트라넷 클라이언트(130), 제2 인트라넷 클라이언트(140) 및 제3 인트라넷 클라이언트(150)에 송신할 수 있다. 영상 회의 서버(120)는 대상 그룹 구성원(audience member)을 보여주기 위해 제1 인트라넷 클라이언트(130), 제2 인트라넷 클라이언트(140) 및 제3 인트라넷 클라이언트(150) 각각으로부터의 인코딩된 소스 스트림을 인트라넷 클라이언트(110)에 송신할 수 있다.
도 2는 영상 회의 환경(100)에서의 다양한 비디오 구독 구성을 나타낸 도면이다. 제1 인터넷 클라이언트(130)는 제1 소스 비디오 스트림(230)을 영상 회의 서버(120)에 송신할 수 있다. 제2 인터넷 클라이언트(140)는 제2 소스 비디오 스트림(240)을 영상 회의 서버(120)에 송신할 수 있다. 제3 인터넷 클라이언트(150)는 제3 소스 비디오 스트림(250)을 영상 회의 서버(120)에 송신할 수 있다. 인트라넷 클라이언트(110)는 제4 소스 비디오 스트림(210)을 영상 회의 서버(120)에 송신할 수 있다.
각각의 소스 비디오 스트림은 해상도 및 프레임 레이트를 비롯한 속성을 포함할 수 있다. 예를 들어, 소스 비디오 스트림은 30 fps(frame per second)에서 HD(Hi-Definition)(1280x720 픽셀) 해상도로, 30 fps에서 VGA(640x480) 해상도로, 및/또는 15 fps에서 CIF(320x240) 해상도로 인코딩된 비디오를 포함할 수 있다.
각각의 클라이언트는 구독 요청을 영상 회의 서버(120)에 송신할 수 있다. 구독 요청은 소스 클라이언트, 해상도 및/또는 프레임 레이트 등의 요청된 매개변수를 포함할 수 있다. 예를 들어, 인트라넷 클라이언트(110)는 제1 인터넷 클라이언트(130)로부터의 비디오 스트림에의 구독을 요청할 수 있다. 영상 회의 서버(120)는 구독 요청과 매칭되는 비디오 스트림[제1 소스 비디오 스트림(230) 등]이 이용가능한지를 판정할 수 있다. 본 발명의 실시예에 따르면, 영상 회의 서버(120)는 제1 소스 비디오 스트림(230)이 임의의 및/또는 모든 다른 구독 요청 매개변수를 포함하는지를 판정할 수 있다. 예를 들어, 구독 요청은 30 fps에서 VGA 해상도로 인코딩된 제1 인터넷 클라이언트(230)로부터의 비디오 스트림에 대한 요청을 포함할 수 있다. 제1 소스 비디오 스트림(230)이 이들 매개변수와 매칭되는 경우, 즉 제1 소스 비디오 스트림(230)이 30 fps에서 VGA 해상도로 인코딩되어 있는 경우, 영상 회의 서버(120)는 제1 소스 비디오 스트림(230)을 인트라넷 클라이언트(110)에 중계할 수 있다.
제1 소스 비디오 스트림(230)이 이들 매개변수와 매칭하지 않는 경우, 영상 회의 서버는 제1 인터넷 클라이언트에게 다른 버전의 제1 소스 비디오 스트림(230)을 포함하는 추가의 소스 비디오 스트림을 인코딩하라고 지시할 수 있으며, 여기서 다른 버전은 제1 인터넷 클라이언트(130)가 인코딩할 수 있는 만큼 구독 요청의 매개변수에 가깝게 매칭되는 것을 포함한다. 예를 들어, 제1 인터넷 클라이언트(130)는 소스 비디오 스트림을 30 fps에서 VGA로 인코딩하지 못하고, 소스 비디오 스트림을 15 fps에서 VGA 해상도로 인코딩할 수 있을지도 모른다. 제1 인터넷 클라이언트(130)는 따라서 추가의 소스 비디오 스트림을 15 fps에서 VGA 해상도로 인코딩하고 추가의 소스 비디오 스트림을 영상 회의 서버(120)에 송신할 수 있다. 영상 회의 서버(120)는 인트라넷 클라이언트(110)로부터의 구독 요청에 응답하여 추가의 소스 비디오 스트림을 인트라넷 클라이언트(110)에 중계할 수 있다.
본 발명의 실시예에 따르면, 영상 회의 클라이언트는 2개 이상의 비디오 스트림에 대한 구독 요청을 영상 회의 서버(120)에 송신할 수 있다. 예를 들어, 제1 인터넷 클라이언트(130)는 영상 회의에 참여하는 다른 클라이언트들 각각으로부터의 소스 비디오 스트림에의 구독을 요청할 수 있다. 영상 회의 서버(120)는 제2 소스 비디오 스트림(240), 제3 소스 비디오 스트림(250), 및 제4 소스 비디오 스트림(210)을 제1 인터넷 클라이언트(130)에 중계할 수 있다.
또한 본 발명의 실시예에 따르면, 클라이언트는 영상 회의에서의 모든 참여 클라이언트로부터의 비디오 소스 스트림을 보고자 할 수 있다. 예를 들어, 제2 인터넷 클라이언트(140)는 4 클라이언트 영상 회의에 참여하고 4개의 참여 클라이언트 모두를 보여주는 2x2 합성 비디오 스트림(composite video stream)에 구독하기 위해 요청을 할 수 있다. 영상 회의 서버는 디지털 신호 처리를 사용하여 제1 소스 비디오 스트림(230), 제2 소스 비디오 스트림(240), 제3 소스 비디오 스트림(250), 및 제4 소스 비디오 스트림(210)을 단일 비디오 스트림으로 결합하고, 4개의 소스를 2x2 그리드로 배열하며, 단일의 합성된 비디오 스트림을 제2 인터넷 클라이언트(240)에 송신할 수 있다.
또한, 본 발명의 실시예에 따르면, 클라이언트는 다수의 비디오 소스 스트림에 구독하고자 할 수 있지만, 원래 버전의 요청된 스트림을 수신하기에 충분한 대역폭을 갖지 않을 수 있다. 예를 들어, 제3 인트라넷 클라이언트(150)가 인트라넷 클라이언트(110) 및 제1 인터넷 클라이언트(130)로부터의 비디오 스트림에의 구독을 요청할 수 있다. 구독은 2개의 스트림이 15 fps에서 VGA 해상도로 2x1 행렬로 송신되도록 요청하는 매개변수를 포함할 수 있다. 제1 소스 비디오 스트림(230) 및 제4 소스 비디오 스트림(210)이 30 fps에서 VGA 해상도로 영상 회의 서버(120)에 송신되는 경우, 영상 회의 서버(120)는, 제3 인터넷 클라이언트(150)에 송신하기 위해 2개의 비디오 스트림을 새로운 비디오 스트림으로 합성하기 전에, 하나 걸러 프레임을 제거하는 등에 의해, 제1 소스 비디오 스트림(230) 및 제4 소스 비디오 스트림(210) 각각을 변경할 수 있다.
도 3은 MBR(multiple bit rate, 다중 비트 전송률) 인코딩을 나타낸 도면이다. 도 1과 관련하여 이상에서 기술한 바와 같이, 영상 회의 시스템(100)은 인트라넷 클라이언트(110), 영상 회의 서버(120), 제1 인터넷 클라이언트(130), 및 제2 인터넷 클라이언트(140)를 포함할 수 있다. 본 발명의 실시예에 따르면, 인트라넷 클라이언트(110)는, 다른 클라이언트로부터의 구독 요청에 기초하여, 고해상도 버전(310)의 소스 비디오 스트림 및 저해상도 버전(320)의 소스 비디오 스트림을 영상 회의 서버(120)에 송신할 수 있다. 예를 들어, 제1 인터넷 클라이언트는 인트라넷 클라이언트(110)로부터의 고해상도 비디오 스트림에 대한 구독 요청(305)을 영상 회의 서버(120)에 송신할 수 있고, 영상 회의 서버(120)는 고해상도 버전(310)의 소스 비디오 스트림을 제1 인터넷 클라이언트(130)에 중계하는 것으로 응답할 수 있다.
제2 인터넷 클라이언트(140)는 인트라넷 클라이언트(110)에 의해 공급되는 저해상도 버전(320)의 비디오 소스 스트림과 다른 프레임 레이트로 인트라넷 클라이언트(110)로부터의 저해상도 비디오 스트림에 대한 구독 요청(340)을 송신할 수 있다. 영상 회의 서버(120)는 요청된 프레임 레이트와 매칭하도록 저해상도 버전(320)을 변경하고 변경된 버전(350)의 비디오 소스 스트림을 제2 인터넷 클라이언트(140)에 송신할 수 있다.
본 발명의 실시예에 따르면, 구독 요청은 모드 매개변수를 포함할 수 있다. 예를 들어, 클라이언트는 모든 다른 참가자로부터의 비디오 스트림에 구독하지만 현재 발표자의 스트림을 고해상도로 수신하고자 할 수 있다. 따라서, 클라이언트는 발표 모드 매개변수(speech mode parameter)를 포함하는 구독 요청을 송신할 수 있다. 영상 회의 서버(120)는, 각각의 소스 비디오 스트림이 현재 발표자를 전달하고 있음을 나타낼 때, 클라이언트의 구독을 위한 비디오 스트림을 전환할 수 있고, 현재 발표하는 클라이언트는, 현재 발표자인 동안, 추가의 고해상도 비디오 스트림을 추가할 수 있다. 다른 가능한 구성은 하나의 주도적인 발표자 클라이언트 및 많은 대상 그룹 클라이언트(audience client)를 가질 수 있다. 발표자는 대상 그룹 클라이언트로부터의 많은 및/또는 모든 비디오 스트림을 보고자 할 수 있는 반면, 대상 그룹 클라이언트는 발표자 및/또는 질문 및 답변 시간에 질문을 하는 클라이언트만을 보고자 할 수 있다. 영상 회의 서버(120)는 저해상도 스트림을 요청함으로써 발표자 클라이언트가 대상 그룹 클라이언트 모두를 구독시킬 수 있게 해줄 수 있다. 모든 저해상도 스트림에 대한 총 대역폭이 발표자 클라이언트가 처리할 수 있는 것보다 훨씬 더 큰 경우, 영상 회의 서버(120)는 스트림을 보다 낮은 프레임 레이트로 변경할 수 있다. 본 발명의 실시예에 따르면, 발표자 클라이언트는 하나의 대상 그룹 클라이언트 또는 다수의 대상 그룹 클라이언트를 보기 위해 전환을 할 수 있다. 예를 들어, 대상 그룹 클라이언트의 수가 구성가능한 임계값보다 작은 경우, 대상 그룹 클라이언트는 더 높은 해상도의 비디오 스트림을 영상 회의 서버(120)에 송신할 수 있다.
도 4는 본 발명의 일 실시예에 따른 영상 회의에의 구독을 제공하는 방법(400)에 포함된 일반적 단계들을 기술하는 플로우차트이다. 방법(400)은, 도 6과 관련하여 이하에서 더 상세히 기술하는 컴퓨팅 장치(600)를 사용하여 구현될 수 있다. 방법(400)의 단계들을 구현하는 방법에 대해 이하에서 더 상세히 기술할 것이다. 본 발명의 실시예에 따르면, 방법(400)의 단계들 중 일부 및/또는 전부가 영상 회의 서버(120) 및/또는 복수의 영상 회의 클라이언트 중 임의의 영상 회의 클라이언트 상에서 수행될 수 있다.
방법(400)은 시작 블록(410)에서 시작할 수 있고, 컴퓨팅 장치(600)가 적어도 하나의 클라이언트를 등록할 수 있는 단계(420)로 진행한다. 예를 들어, 적어도 하나의 클라이언트는 네트워크 연결을 통해 컴퓨팅 장치(600)에 연결되어 동작할 수 있고 컴퓨팅 장치(600)에 의해 호스팅되는 영상 전화 회의에의 참여를 요청할 수 있다.
등록의 일부로서, 컴퓨팅 장치(600)는 컴퓨팅 능력 및 이용가능한 인코딩/디코딩 방식을 비롯한 적어도 하나의 클라이언트의 능력을 판정할 수 있고, 다수의 상이한 비트 전송률로 복수의 비디오 스트림을 제공하도록 적어도 하나의 클라이언트에 요구할 수 있다. 본 발명의 실시예에 따르면, 컴퓨팅 장치(600)는, 클라이언트가 능력이 있는 경우, 몇개의 스트림을 제공하라고 적어도 하나의 클라이언트에 요청할 수 있지만, 클라이언트가 적은 양의 컴퓨팅 능력, 처리 사이클, 메모리 및/또는 가용 대역폭을 가지는 경우, 단지 하나의 스트림만 제공하라고 클라이언트에 요구할 수 있다.
단계(420)로부터, 방법(400)은 컴퓨팅 장치(600)가 적어도 하나의 인코딩된 비디오 스트림을 적어도 하나의 클라이언트로부터 수신할 수 있는 단계(430)로 나아갈 수 있다. 다수의 클라이언트가 영상 회의에 참여할 수 있고, 각각의 클라이언트는 적어도 하나의 비디오 스트림을 송신할 수 있다. 예를 들어, 컴퓨팅 장치(600)는 30 fps에서 VGA 해상도로 인코딩된 오디오/비디오 스트림을 적어도 하나의 클라이언트로부터 수신할 수 있다. 본 발명의 실시예에 따르면, 컴퓨팅 장치(600)는 적어도 하나의 클라이언트로부터 다수의 스트림을 수신할 수 있다. 예를 들어, 클라이언트는 3개의 버전의 비디오 스트림, 즉 30 fps에서 HD(high-definition) 해상도로 인코딩된 비디오 스트림, 30 fps에서 VGA 해상도로 인코딩된 비디오 스트림, 및 15 fps에서 CIF 해상도로 인코딩된 비디오 스트림을 송신할 수 있다.
단계(430)로부터, 방법(400)은 컴퓨팅 장치(600)가 구독 요청을 영상 회의에서의 적어도 하나의 클라이언트로부터 수신할 수 있는 단계(440)로 나아갈 수 있다. 예를 들어, 컴퓨팅 장치(600)는 VGA 인코딩된 30 fps 스트림에 대한 하나의 클라이언트로부터의 구독 요청을 제2 클라이언트로부터 수신할 수 있다. 본 발명의 실시예에 따르면, 컴퓨팅 장치(600)는 영상 회의에 참여하는 클라이언트들 중 일부 및/또는 전부로부터 다수의 구독 요청을 수신할 수 있다. 예를 들어, 하나의 클라이언트는 모든 다른 참여 클라이언트에게 저해상도 버전을 요청할 수 있고, 다른 클라이언트는 어느 클라이언트가 영상 회의에서의 활성 발표자로 지정되든간에 그 클라이언트에게 고해상도 버전을 요청하고 다른 클라이언트들 중 일부 또는 전부에게 저해상도 버전을 요청할 수 있다.
단계(440)로부터, 방법(400)은 컴퓨팅 장치(600)가 구독 요청과 매칭되는 비디오 스트림을 찾아내어 적어도 하나의 클라이언트에 송신할 수 있는 서브루틴(450)으로 나아갈 수 있다. 예를 들어, 컴퓨팅 장치(600)는 제2 클라이언트가 이미 VGA 인코딩된 30 fps 비디오 스트림을 컴퓨팅 장치(600)에 송신하고 있다고 판정할 수 있고, 따라서 컴퓨팅 장치(600)는 이 비디오 스트림이 구독 요청과 매칭한다고 판정할 수 있다. 서브루틴(450)에 관한 부가의 상세가 도 5와 관련하여 이하에서 제공될 것이다.
서브루틴(450)으로부터, 방법(400)은 컴퓨팅 장치(600)가 매칭되는 스트림을 클라이언트에 송신할 수 있는 단계(460)로 나아갈 수 있다. 예를 들어, 컴퓨팅 장치(600)는 네트워크 연결을 통해 제2 클라이언트로부터 수신된 매칭되는 비디오 스트림을 구독 요청을 송신한 클라이언트에 중계할 수 있다.
단계(460)로부터, 방법(400)은 컴퓨팅 장치(600)가 어떤 추가의 구독 요청이 수신되었는지를 판정할 수 있는 단계(470)로 나아갈 수 있다. 구독 요청은 하나의 클라이언트가 이미 수신하고 있는 스트림의 저해상도 버전을 요청하는 경우와 같이, 기존의 구독을 변경하라는 요청을 포함할 수 있다. 이러한 요청은, 예를 들어, 가용 대역폭의 감소에 응답하여 행해질 수 있다. 구독 요청은 또한 적어도 하나의 비디오 스트림을 이미 수신하고 있는 클라이언트에 의한 부가의 클라이언트(들)로부터의 비디오 스트림에 대한 요청 또는 영상 회의에서의 다른 클라이언트들로부터의 요청을 포함할 수 있다.
컴퓨팅 장치(600)가 다른 구독 요청이 수신된 것으로 판정하는 경우, 방법(400)은 서브루틴(450)으로 되돌아가서 매칭되는 비디오 스트림을 찾으려고 시도할 수 있다. 부가의 구독 요청이 수신되지 않는 경우, 컴퓨팅 장치(600)는 영상 회의의 끝까지[영상 회의의 끝에서 방법(400)은 단계(480)에서 종료할 수 있음] 계속하여 부가의 요청을 기다릴 수 있다.
도 5는 구독 요청에 매칭되는 비디오 스트림을 선택하는 도 4의 방법에서 사용되는 서브루틴의 플로우차트이다. 서브루틴(450)에서, 컴퓨팅 장치(600)는 요청된 비디오 스트림에 대한 소스 클라이언트와 같은 구독 요청과 연관된 속성을 분석할 수 있다. 서브루틴(450)은 컴퓨팅 장치(600)가 요청된 소스 클라이언트와 연관된 비디오 스트림이 이용가능한지를 판정할 수 있는 단계(510)에서 시작할 수 있다. 이 판정은 소스 클라이언트가 영상 회의에 연결되어 있는지, 소스 클라이언트가 현재 비디오 스트림을 컴퓨팅 장치(600)에 송신하고 있는지, 및/또는, 컴퓨팅 장치(600) 및/또는 영상 회의에서의 다른 클라이언트에 의해 요청되는 경우, 소스 클라이언트가 비디오 스트림을 송신할 수 있는지를 판정하는 것을 포함할 수 있다. 단계(510)에서, 컴퓨팅 장치(600)가 요청된 소스 클라이언트가 요청된 비디오 스트림을 제공할 수 없을지도 모르는 것으로 판정하는 경우, 서브루틴(450)은 컴퓨팅 장치(600)가 사전 정의된 논리에 따라 대안의 소스 클라이언트를 선택할 수 있는 단계(515)로 나아갈 수 있다. 예를 들어, 컴퓨팅 장치(600)는 활성 발표자로 지정된 클라이언트를 선택할 수 있다. 본 발명의 실시예에 따르면, 컴퓨팅 장치(600)는 요청된 구독이 이용가능하지 않다는 것을 알려주는 오류를 요청측 클라이언트에 반환할 수 있다. 컴퓨팅 장치(600)는 계속하여 요청된 소스 클라이언트가 영상 회의 전체에 걸쳐 이용가능하게 되는지에 관해 주기적인 판정을 할 수 있다. 단계(515)에서 대안의 소스 클라이언트가 선택되는 경우, 서브루틴(450)은 새로 선택된 소스 클라이언트가 이용가능한지를 판정하기 위해 단계(510)로 되돌아갈 수 있다.
단계(510)에서, 컴퓨팅 장치(600)가 요청된 소스 클라이언트가 이용가능하고 및/또는 비디오 스트림을 제공할 수 있는 것으로 판정하는 경우, 서브루틴(450)은 컴퓨팅 장치(600)가 구독 요청과 연관된 소스 클라이언트가 현재 비디오 스트림을 구독 요청과 연관된 해상도로 전송하고 있는지를 판정할 수 있는 단계(520)로 나아갈 수 있다. 예를 들어, 클라이언트는 VGA(640x480) 해상도의 소스 클라이언트의 비디오 스트림에의 구독을 요청할 수 있다. 컴퓨팅 장치(600)는 소스 클라이언트가 그의 비디오 스트림의 VGA 해상도 버전을 제공하고 있는지를 판정할 수 있다. '아니오'인 경우, 서브루틴(450)은 컴퓨팅 장치(600)가 소스 클라이언트가 올바른 해상도로 비디오 스트림을 제공할 수 있는지를 판정할 수 있는 단계(525)로 나아갈 수 있다.
단계(525)에서, 컴퓨팅 장치(600)가 소스 클라이언트가 요청된 해상도로 비디오 스트림을 제공할 수 있는 것으로 판정하는 경우, 서브루틴(450)은 컴퓨팅 장치(600)가 비디오 스트림을 요청된 해상도로 송신하기 시작하라고 소스 클라이언트에 요청할 수 있는 단계(530)로 나아갈 수 있다. 소스 클라이언트가 요청된 해상도로 비디오 스트림을 제공할 수 없는 경우, 서브루틴(450)은 컴퓨팅 장치(600)가 가능한 가장 가까운 해상도의 소스 클라이언트의 비디오 스트림의 다른 버전을 사용하기로 선택할 수 있는 단계(535)로 나아갈 수 있다. 예를 들어, 소스 클라이언트는 VGA 해상도 비디오 스트림 대신에 CIF 해상도 비디오 스트림을 제공할 수 있다.
비디오 스트림 해상도가 컴퓨팅 장치(600)에 의해 선택되었으면, 서브루틴(450)은 컴퓨팅 장치(600)가 비디오 스트림이 구독 요청과 연관된 프레임 레이트로 이용가능한지를 판정할 수 있는 단계(540)로 나아갈 수 있다. 단계(520)에서 선택된 스트림이 요청된 프레임 레이트와 매칭하지 않는 경우, 서브루틴(450)은 컴퓨팅 장치(600)가, 하나 걸러 프레임을 제거하여 프레임 레이트를 감소시키는 등에 의해, 비디오 스트림을 변경할 수 있는 단계(545)로 나아갈 수 있다. 예를 들어, 컴퓨팅 장치(600)는 15 fps의 VGA 해상도 비디오 스트림에 대한 구독 요청을 수신할 수 있지만, 소스 클라이언트에 의해 제공되는 비디오 스트림이 30 fps로 인코딩되어 있을 수 있다. 컴퓨팅 장치(600)는, 예를 들어, 비디오 스트림으로부터 프레임을 제거하여 프레임 레이트를 감소시킬 수 있다. 본 발명의 실시예에 따르면, 컴퓨팅 장치(600)는, 해상도에 관한 단계(525)의 프로세스와 유사하게, 소스 클라이언트가 요청된 프레임 레이트로 비디오 스트림을 인코딩하여 송신할 수 있는지를 판정할 수 있고, 소스 클라이언트가 매칭되는 스트림을 컴퓨팅 장치(600)에 송신하도록 요청할 수 있다. 단계(540) 및/또는 단계(545)로부터, 서브루틴(450)은 단계(460)에서 방법(400)으로 되돌아갈 수 있다.
본 발명의 실시예에 따르면, 구독 요청은 소스 클라이언트, 해상도 및 프레임 레이트와 같은 속성에 대한 대안의 타당한 값을 제공할 수 있다. 예를 들어, 구독 요청은 제1 클라이언트로부터의 비디오 스트림에 대한 요청을 포함할 수 있고, 제2 클라이언트로부터의 비디오 스트림도 역시 타당하다는 것을 나타낼 수 있다. 이와 유사하게, 구독 요청은, 이용가능한 경우 HD 비디오 스트림을 더 원하는 것, VGA 해상도 스트림도 역시 타당하다는 것을 나타내지만, CIF 해상도 스트림만이 이용가능한 경우 구독 요청에 응답하여 컴퓨팅 장치(600)가 비디오 스트림을 송신하지 않도록 요청하는 것과 같이, 요청된 해상도에 우선순위를 부여할 수 있다.
본 발명에 따른 실시예는 데이터를 복수의 클라이언트에 제공하는 시스템을 포함할 수 있다. 이 시스템은 메모리 저장 장치 및 이 메모리 저장 장치에 연결된 처리 장치를 포함할 수 있다. 처리 장치는 적어도 하나의 제1 클라이언트로부터 적어도 하나의 비디오 스트림을 수신하고, 적어도 하나의 제2 클라이언트로부터 비디오 구독 요청을 수신하며, 적어도 하나의 제1 클라이언트로부터 수신된 적어도 하나의 비디오 스트림이 적어도 하나의 제2 클라이언트로부터의 비디오 구독 요청과 매칭되는지를 판정하고, 적어도 하나의 제1 클라이언트로부터 수신된 적어도 하나의 비디오 스트림이 적어도 하나의 제2 클라이언트로부터의 비디오 구독 요청과 매칭되는 것으로 판정된 것에 응답하여, 적어도 하나의 제1 클라이언트로부터 수신된 적어도 하나의 비디오 스트림을 적어도 하나의 제2 클라이언트에 송신하는 동작을 할 수 있다. 비디오 구독 요청은 요청된 해상도 및/또는 요청된 프레임 레이트를 포함할 수 있다. 적어도 하나의 제1 클라이언트로부터 수신된 적어도 하나의 비디오 스트림이 적어도 하나의 제2 클라이언트로부터의 비디오 구독 요청과 매칭하지 않는 경우, 처리 장치는 적어도 하나의 비디오 스트림을 인코딩하여 송신하는 것을 중단하라는 명령을 적어도 하나의 제1 클라이언트에 송신하는 동작을 할 수 있다.
본 발명의 실시예에 따르면, 처리 장치는 영상 회의에 참여하는 복수의 클라이언트를 등록하고, 복수의 클라이언트 각각으로부터 적어도 하나의 비디오 스트림을 수신하며, 등록된 클라이언트 각각으로부터 적어도 하나의 비디오 구독 요청을 수신하고, 등록된 클라이언트 각각으로부터의 적어도 하나의 비디오 구독 요청이 복수의 클라이언트로부터 수신된 비디오 스트림들 중 적어도 하나의 비디오 스트림과 매칭되는지를 판정하며, 수신된 비디오 스트림들 중 매칭되는 적어도 하나의 비디오 스트림을 복수의 클라이언트 각각에 송신하는 동작을 할 수 있다. 구독 요청과 수신된 비디오 스트림 간의 매칭을 판정하는 것은 비디오 스트림이 구독 요청의 요청된 소스 클라이언트, 요청된 해상도, 및/또는 요청된 프레임 레이트와 매칭되는지를 판정하는 것을 포함할 수 있다.
수신된 비디오 스트림이 구독 요청들 중 적어도 하나의 구독 요청과 매칭하지 않는 경우, 프로세서는 적어도 하나의 수신된 비디오 스트림이 적어도 하나의 비디오 구독 요청과 매칭하도록 변경될 수 있는지를 판정하고 비디오 스트림을 변경하며, 변경된 비디오 스트림을 요청측 클라이언트에 송신 하는 동작을 할 수 있다. 비디오 스트림을 변경하는 것은 비디오 스트림을 상이한 해상도로 재인코딩하는 것, 비디오 스트림으로부터 적어도 하나의 프레임을 제거하는 것, 및/또는 수신된 비디오 스트림들 중 적어도 2개의 비디오 스트림을 단일 비디오 스트림으로 결합하는 것을 포함할 수 있다. 본 발명의 추가의 실시예에 따르면, 처리 장치는 구독 요청과 연관된 비디오 스트림 소스 클라이언트가 구독 요청을 만족시키는 비디오 스트림을 인코딩할 수 있는지를 판정하는 동작을 할 수 있다. 소스 클라이언트가 그렇게 할 수 있는 경우, 처리 장치는 매칭되는 비디오 스트림을 인코딩하라는 명령을 비디오 스트림 소스 클라이언트에 송신하고, 얻어진 매칭되는 비디오 스트림을 등록된 클라이언트들 중 요청하는 적어도 하나의 등록된 클라이언트에 송신할 수 있다. 소스 클라이언트가 매칭되는 비디오 스트림을 송신할 수 있는지를 판정하는 동작을 하는 것은 비디오 스트림 소스 클라이언트가 비디오 스트림의 2개의 상이한 버전을 인코딩할 수 있는지를 판정하는 동작을 하는 것을 포함할 수 있으며, 여기서 2개의 버전은 해상도 및/또는 프레임 레이트가 다르다.
처리 장치가 적어도 하나의 구독 요청이 수신된 비디오 스트림에 의해 만족될 수 없고 및/또는 클라이언트들 중 어느 것도 요청된 비디오 스트림을 제공할 수 없는 것으로 판정하는 경우, 처리 장치는 수신된 비디오 스트림들 중 어느 것이 적어도 하나의 비디오 구독 요청에 가장 가깝게 매칭되는지를 계산하고, 적어도 하나의 비디오 구독 요청에 가장 가깝게 매칭되는 비디오 스트림을 등록된 클라이언트들 중 요청하는 적어도 하나의 등록된 클라이언트에 송신하는 동작을 할 수 있다. 예를 들어, 처리 장치는 비디오 스트림들 중 적어도 하나의 비디오 스트림이 구독 요청과 연관된 비디오 스트림 소스 클라이언트와 매칭되는지, 구독 요청과 연관된 비디오 스트림 소스 클라이언트와 매칭되는 비디오 스트림들 중 적어도 하나의 비디오 스트림이 구독 요청과 연관된 해상도와 매칭되는지, 및/또는 구독 요청과 연관된 비디오 스트림 소스 클라이언트 및 해상도와 매칭되는 비디오 스트림들 중 적어도 하나의 비디오 스트림이 구독 요청과 연관된 프레임 레이트와 매칭되는지를 판정할 수 있다. 처리 장치는 비디오 스트림들 중 적어도 하나의 비디오 스트림을 요청측 클라이언트에 송신할 수 있다.
처리 장치가 비디오 스트림들 중 적어도 하나의 비디오 스트림이 구독 요청과 연관된 비디오 스트림 소스 클라이언트와 매칭하지 않는 것으로 판정하는 경우, 처리 장치는 구독 요청과 연관된 비디오 스트림 소스 클라이언트 이외의 복수의 클라이언트 중에서 제2 비디오 스트림 소스 클라이언트를 선택하고, 선택된 제2 비디오 스트림 소스 클라이언트로부터 수신된 적어도 하나의 비디오 스트림을 요청측 클라이언트에 송신하는 동작을 할 수 있다. 구독 요청과 연관된 비디오 스트림 소스 클라이언트 이외의 복수의 클라이언트 중에서 제2 비디오 스트림 소스 클라이언트를 선택하는 것은 현재 발표자를 포함하는 비디오 스트림을 송신하고 있는 제2 비디오 스트림 소스 클라이언트를 선택하는 것을 포함할 수 있다.
본 발명에 따른 다른 실시예는 비디오 스트림을 복수의 클라이언트에 제공하는 시스템을 포함할 수 있다. 이 시스템은 메모리 저장 장치 및 이 메모리 저장 장치에 연결된 처리 장치를 포함할 수 있다. 처리 장치는 복수의 영상 회의 클라이언트를 등록하고, 복수의 영상 회의 클라이언트 각각으로부터, 적어도 하나의 소스 비디오 스트림을 수신하며, 복수의 영상 회의 클라이언트 중 적어도 하나로부터, 적어도 하나의 비디오 스트림 구독 요청을 수신하고, 복수의 영상 회의 클라이언트 각각으로부터 수신된 소스 비디오 스트림들 중 적어도 하나의 제1 스트림이 적어도 하나의 비디오 스트림 구독 요청과 매칭되는지를 판정하며, 복수의 영상 회의 클라이언트 각각으로부터 수신된 소스 비디오 스트림들 중 적어도 하나의 제1 스트림이 적어도 하나의 비디오 스트림 구독 요청과 매칭되는 것으로 판정된 것에 응답하여, 소스 비디오 스트림들 중 매칭되는 적어도 하나의 제1 스트림을 복수의 영상 회의 클라이언트 중 요청하는 적어도 하나의 영상 회의 클라이언트에 송신하는 동작을 할 수 있다. 처리 장치는 또한 복수의 영상 회의 클라이언트 중 적어도 하나로부터, 적어도 하나의 제2 비디오 스트림 구독 요청을 수신하고, 복수의 영상 회의 클라이언트 각각으로부터 수신된 소스 비디오 스트림들 중 적어도 하나의 제2 스트림이 적어도 하나의 제2 비디오 스트림 구독 요청과 매칭되는지를 판정하며, 복수의 영상 회의 클라이언트 각각으로부터 수신된 소스 비디오 스트림들 중 적어도 하나의 제2 스트림이 적어도 하나의 제2 비디오 스트림 구독 요청과 매칭되는 것으로 판정된 것에 응답하여, 소스 비디오 스트림들 중 매칭되는 적어도 하나의 제2 스트림을 복수의 영상 회의 클라이언트 중 요청하는 적어도 하나의 영상 회의 클라이언트에 송신하는 동작을 할 수 있다.
본 발명의 실시예에 따르면, 소스 비디오 스트림들 중 매칭되는 적어도 하나의 제2 스트림을 복수의 영상 회의 클라이언트 중 요청하는 적어도 하나의 영상 회의 클라이언트에 송신하는 동작을 하는 것은 처리 장치가 소스 비디오 스트림의 매칭되는 적어도 하나의 제1 스트림과 소스 비디오 스트림의 매칭되는 적어도 하나의 제2 스트림의 합성 비디오 스트림을 생성하고 합성 비디오 스트림을 복수의 영상 회의 클라이언트 중 요청하는 적어도 하나의 영상 회의 클라이언트에 송신하는 동작을 하는 것을 포함할 수 있다.
처리 장치는 또한 적어도 하나의 제2 소스 비디오 스트림을 복수의 영상 회의 클라이언트 중 적어도 하나의 영상 회의 클라이언트로부터 수신하는 동작을 할 수 있고, 적어도 하나의 제2 소스 비디오 스트림은 적어도 하나의 소스 비디오 스트림의 상이한 버전을 포함할 수 있다. 상이한 버전은 적어도 하나의 제1 비디오 소스 스트림의 저해상도 버전을 포함할 수 있다.
처리 장치는 적어도 하나의 제1 영상 회의 클라이언트로부터 적어도 하나의 제1 비디오 소스 스트림을 수신하고, 적어도 하나의 제2 영상 회의 클라이언트로부터 적어도 하나의 제2 비디오 소스 스트림을 수신하며, 적어도 하나의 제1 영상 회의 클라이언트 및 적어도 하나의 제2 영상 회의 클라이언트로부터의 소스 비디오 스트림에 대한 구독 요청을, 적어도 하나의 제3 영상 회의 클라이언트로부터, 수신하고, 적어도 하나의 제1 비디오 소스 스트림과 적어도 하나의 제2 비디오 소스 스트림의 합성 비디오 스트림을 생성하는 동작을 할 수 있다. 합성 비디오 스트림을 생성하는 동작을 하는 것은 비디오 소스 스트림들 중 적어도 하나의 비디오 소스 스트림의 프레임 레이트를 변경하고 변경된 스트림(들)을 단일 비디오 스트림으로 결합하는 동작을 하는 것을 포함할 수 있다.
본 발명에 따른 또 다른 실시예는 영상 회의에서 레이트 매칭(rate matching)을 제공하는 시스템을 포함할 수 있다. 이 시스템은 메모리 저장 장치 및 이 메모리 저장 장치에 연결된 처리 장치를 포함할 수 있다. 처리 장치는 복수의 영상 회의 클라이언트로부터 복수의 비디오 스트림을 수신하고, 적어도 하나의 구독 요청을 복수의 영상 회의 클라이언트 중 적어도 하나의 영상 회의 클라이언트로부터 수신하며, 복수의 비디오 스트림 중 요청된 적어도 하나의 비디오 스트림이 요청된 해상도 및 요청된 프레임 레이트로 복수의 비디오 스트림 중 요청된 적어도 하나의 비디오 스트림에 대한 소스 클라이언트로부터 수신되고 있는지를 판정하는 동작을 할 수 있다. 복수의 비디오 스트림 중 어느 것도 요청된 해상도 및/또는 프레임 레이트와 매칭하지 않는 경우, 처리 장치는 소스 클라이언트가 매칭되는 비디오 스트림을 송신할 수 있는지를 판정하고, 소스 클라이언트가 그렇게 하도록 요청하며, 매칭되는 비디오 스트림을 요청측 클라이언트에 송신하는 동작을 할 수 있다. 구독 요청은 복수의 비디오 스트림 중 적어도 하나의 비디오 스트림에 대한 요청, 요청된 해상도, 및/또는 요청된 프레임 레이트를 포함할 수 있다. 각각의 클라이언트는 복수의 비디오 스트림 중 적어도 하나의 비디오 스트림을 송신할 수 있다.
도 6은 컴퓨팅 장치(600)를 포함하는 시스템의 블록도이다. 본 발명의 일 실시예에 따르면, 전술한 메모리 저장 장치 및 처리 장치는 도 6의 컴퓨팅 장치(600)와 같은 컴퓨팅 장치에 구현될 수 있다. 메모리 저장 장치 및 처리 장치를 구현하는 데 하드웨어, 소프트웨어 또는 펌웨어의 임의의 적당한 조합이 사용될 수 있다. 예를 들어, 메모리 저장 장치 및 처리 장치는 컴퓨팅 장치(600)에, 또는 컴퓨팅 장치(600)와 함께 다른 컴퓨팅 장치들(618) 중 임의의 컴퓨팅 장치에 구현될 수 있다. 전술한 시스템, 장치 및 프로세서는 일례이며, 다른 시스템, 장치 및 프로세서가 본 발명의 실시예에 따른 전술한 메모리 저장 장치 및 처리 장치를 포함할 수 있다. 게다가, 컴퓨팅 장치(600)는 전술한 시스템(100)에 대한 운영 환경을 포함할 수 있다. 시스템(100)은 다른 환경에서 동작할 수 있고, 컴퓨팅 장치(600)로 제한되지 않는다.
도 6을 참조하면, 본 발명의 일 실시예에 따른 시스템은 컴퓨팅 장치(600)와 같은 컴퓨팅 장치를 포함할 수 있다. 기본적인 구성에서, 컴퓨팅 장치(600)는 적어도 하나의 처리 장치(602) 및 시스템 메모리(604)를 포함할 수 있다. 컴퓨팅 장치의 구성 및 유형에 따라, 시스템 메모리(604)는 휘발성[예를 들어, 랜덤 액세스 메모리(RAM)], 비휘발성[예를 들어, 판독 전용 메모리(ROM)], 플래시 메모리, 또는 임의의 조합을 포함할 수 있지만, 이들로 제한되지 않는다. 시스템 메모리(604)는 운영 체제(605), 하나 이상의 프로그래밍 모듈(606)을 포함할 수 있고, 프로그램 데이터(607)를 포함할 수 있다. 운영 체제(605)는, 예를 들어, 컴퓨팅 장치터(600)의 동작을 제어하는 데 적합할 수 있다. 일 실시예에서, 프로그래밍 모듈(606)은, 예를 들어, 데이터 분석 모듈 및/또는 영상 회의 서버(620)를 포함할 수 있다. 게다가, 본 발명의 실시예는 그래픽 라이브러리, 기타 운영 체제, 또는 임의의 다른 응용 프로그램과 관련하여 실시될 수 있으며, 임의의 특정의 응용 프로그램 또는 시스템으로 제한되지 않는다. 이 기본적인 구성이 도 6에서 파선(608) 내의 구성요소로 나타내어져 있다.
컴퓨팅 장치(600)는 또한 부가의 특징 또는 기능을 가질 수 있다. 예를 들어, 컴퓨팅 장치(600)는 또한, 예를 들어, 자기 디스크, 광 디스크 또는 테이프와 같은 부가의 데이터 저장 장치(이동식 및/또는 비이동식)를 포함할 수 있다. 이러한 부가의 저장 장치가 도 6에서 이동식 저장 장치(609) 및 비이동식 저장 장치(610)로 나타내어져 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터 등의 정보를 저장하는 임의의 방법 또는 기술로 구현되는 휘발성 및 비휘발성, 이동식 및 비이동식 매체를 포함할 수 있다. 시스템 메모리(604), 이동식 저장 장치(609), 및 비이동식 저장 장치(610)가 모두 컴퓨터 저장 매체의 일례(즉, 메모리 저장 장치)이다. 컴퓨터 저장 매체로는 RAM, ROM, EEPROM(electrically erasable programmable read-only memory), 플래시 메모리 또는 기타 메모리 기술, CD-ROM, DVD(digital versatile disk) 또는 기타 광 저장 장치, 자기 카세트, 자기 테이프, 자기 디스크 저장 장치 또는 기타 자기 저장 장치, 또는 정보를 저장하는 데 사용될 수 있고 또 컴퓨터 저장 매체(600)에 의해 액세스될 수 있는 임의의 다른 매체가 있을 수 있지만, 이들로 제한되지 않는다. 임의의 이러한 컴퓨터 저장 매체가 장치(600)의 일부일 수 있다. 컴퓨팅 장치(600)는 또한 키보드, 마우스, 펜, 사운드 입력 장치, 터치 입력 장치, 기타 등등의 입력 장치(들)(612)를 가질 수 있다. 디스플레이, 스피커, 프린터, 기타 등등의 출력 장치(들)(614)도 역시 포함되어 있을 수 있다. 전술한 장치들은 일례이며, 기타 장치들이 사용될 수 있다.
컴퓨팅 장치(600)는 또한 장치(600)가 분산 컴퓨팅 환경에서 네트워크(예를 들어, 인트라넷 또는 인터넷)를 통하는 등에 의해 다른 컴퓨팅 장치들(618)과 통신을 할 수 있게 해주는 통신 연결(616)을 포함할 수 있다. 통신 연결(616)은 통신 매체의 일례이다. 통신 매체는 통상적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터에 의해 반송파 또는 기타 전송 메카니즘 등의 피변조 데이터 신호에 구현될 수 있고 모든 정보 전달 매체를 포함한다. "피변조 데이터 신호"라는 용어는 신호의 하나 이상의 특성들이 정보를 그 신호에 인코딩하는 방식으로 설정 또는 변경된 신호를 말하는 것일 수 있다. 제한이 아닌 예로서, 통신 매체는 유선 네트워크 또는 직접 배선 연결(direct-wired connection) 등의 유선 매체와, 음향, RF(radio frequency), 적외선 및 기타 무선 매체 등의 무선 매체를 포함할 수 있다. 컴퓨터 판독가능 매체라는 용어는, 본 명세서에서 사용되는 바와 같이, 저장 매체 및 통신 매체 둘다를 포함할 수 있다.
이상에서 언급한 바와 같이, 운영 체제(605)를 비롯한 다수의 프로그램 모듈 및 데이터 파일이 시스템 메모리(604)에 저장될 수 있다. 처리 장치(602) 상에서 실행되는 동안, 프로그래밍 모듈(606)[예를 들어, 영상 회의 서버(620)]은, 예를 들어, 이상에서 기술한 바와 같은 하나 이상의 방법(400)의 단계들을 비롯한 프로세스들을 수행할 수 있다. 전술한 프로세스는 일례이며, 처리 장치(602)는 기타 프로세스들을 수행할 수 있다. 본 발명의 실시예에 따라 사용될 수 있는 기타 프로그래밍 모듈은 전자 메일 및 연락처 응용 프로그램, 워드 프로세싱 응용 프로그램, 스프레드시트 응용 프로그램, 데이터베이스 응용 프로그램, 슬라이드 프리젠테이션 응용 프로그램, 작도(drawing) 또는 컴퓨터 보조(computer-aided) 응용 프로그램, 기타를 포함할 수 있다.
일반적으로, 본 발명의 실시예에 따르면, 프로그램 모듈은 특정의 작업을 수행하거나 특정의 추상 데이터 유형을 구현하는 루틴, 프로그램, 구성요소, 데이터 구조, 및 기타 유형의 구조체를 포함할 수 있다. 게다가, 본 발명의 실시예가 핸드헬드 장치, 멀티프로세서 시스템, 마이크로프로세서-기반 또는 프로그램가능 가전 제품, 미니컴퓨터, 메인프레임 컴퓨터, 기타 등등을 비롯한 기타 컴퓨터 시스템 구성들에서 실시될 수 있다. 본 발명의 실시예들은 또한 태스크들이 통신 네트워크를 통해 연결되어 있는 원격 처리 장치들에 의해 수행되는 분산 컴퓨팅 환경에서도 실시될 수 있다. 분산 컴퓨팅 환경에서는, 프로그램 모듈이 로컬 및 원격 메모리 저장 장치 둘다에 위치할 수 있다.
게다가, 본 발명의 실시예가 개별 전자 요소를 포함하는 전기 회로, 논리 게이트를 포함하는 패키징된 또는 집적된 전자 칩, 마이크로프로세서를 이용하는 회로, 또는 전자 요소 또는 마이크로프로세서를 포함하는 단일 칩에서 실시될 수 있다. 본 발명의 실시예들은 또한, 예를 들어, AND, OR 및 NOT 등의 논리적 연산들을 수행할 수 있는 기타 기술들(기계 기술, 광학 기술, 유체 기술 및 양자 기술을 포함하지만, 이들로 제한되지 않음)을 사용하여 실시될 수 있다. 그에 부가하여, 본 발명의 실시예들은 범용 컴퓨터 내에서 또는 임의의 다른 회로 또는 시스템에서 실시될 수 있다.
본 발명의 실시예가, 예를 들어, 컴퓨터 프로세스(방법), 컴퓨팅 시스템, 또는 제조 물품(컴퓨터 프로그램 제품 또는 컴퓨터 판독가능 매체 등)으로서 구현될 수 있다. 컴퓨터 프로그램 제품은 컴퓨터 시스템에 의해 판독가능하고 컴퓨터 프로세스를 실행하는 명령어들의 컴퓨터 프로그램을 인코딩하는 컴퓨터 저장 매체일 수 있다. 컴퓨터 프로그램 제품은 또한 컴퓨터 시스템에 의해 판독가능하고 컴퓨터 프로세스를 실행하는 명령어들의 컴퓨터 프로그램을 인코딩하는 반송파 상의 전파 신호(propagated signal)일 수 있다. 그에 따라, 본 발명은 하드웨어로 및/또는 소프트웨어(펌웨어, 상주 소프트웨어, 마이크로코드, 기타를 포함함)로 구현될 수 있다. 환언하면, 본 발명의 실시예들이 명령어 실행 시스템에 의해 또는 명령어 실행 시스템과 관련하여 사용하기 위한 컴퓨터 사용가능 또는 컴퓨터 판독가능 프로그램 코드가 구현되어 있는 컴퓨터 사용가능 또는 컴퓨터 판독가능 저장 매체 상의 컴퓨터 프로그램 제품의 형태를 취할 수 있다. 컴퓨터 사용가능 또는 컴퓨터 판독가능 매체는 명령어 실행 시스템, 장치 또는 소자에 의해 또는 이들과 관련하여 사용하기 위한 프로그램을 포함하거나, 저장하거나, 전달하거나, 전파하거나, 또는 전송할 수 있는 임의의 매체일 수 있다.
컴퓨터 사용가능 또는 컴퓨터 판독가능 매체는, 예를 들어, 전자, 자기, 광학, 전자기, 적외선, 또는 반도체 시스템, 장치, 디바이스 또는 전파 매체일 수 있지만, 이들로 제한되지 않는다. 보다 구체적인 컴퓨터 판독가능 매체의 일례(비전수적인 목록임)로서, 컴퓨터 판독가능 매체로는 하나 이상의 전선을 갖는 전기적 연결, 휴대형 컴퓨터 디스켓(portable computer diskette), 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 소거가능 프로그램가능 판독 전용 메모리(EPROM, 또는 플래시 메모리), 광섬유, 및 휴대형 CD-ROM(compact disc read-only memory)이 있을 수 있다. 유의할 점은, 컴퓨터 사용가능 또는 컴퓨터 판독가능 매체는 심지어 프로그램이 인쇄되어 있는 종이 또는 다른 적당한 매체일 수 있는데, 그 이유는 프로그램이, 예를 들어, 종이 또는 다른 매체의 광학적 스캐닝을 통해 전자적으로 캡처되고, 이어서 컴파일, 인터프리트 또는 필요한 경우 적당한 방식으로 처리되며 이어서 컴퓨터 메모리에 저장될 수 있기 때문이다.
본 발명의 실시예는, 예를 들어, 본 발명의 실시예에 따른 방법, 시스템, 및 컴퓨터 프로그램 제품의 블록도 및/또는 동작 설명을 참조하여 이상에 기술되어 있다. 블록에 기재된 기능/동작이 임의의 플로우차트에 도시된 것과 순서와 다르게 행해질 수 있다. 예를 들어, 관여된 기능/동작에 따라, 연속하여 도시된 2개의 블록이 실제로는 거의 동시에 실행될 수 있거나, 그 블록이 때때로 정반대의 순서로 실행될 수 있다.
본 발명의 어떤 실시예가 기술되어 있지만, 다른 실시예가 존재할 수 있다. 게다가, 본 발명의 실시예가 메모리 및 기타 저장 매체에 저장된 데이터와 연관되어 있는 것으로 기술되어 있지만, 데이터가 또한 하드 디스크, 플로피 디스크, 또는 CD-ROM과 같은 보조 저장 장치(secondary storage device), 인터넷으로부터의 반송파(carrier wave), 또는 기타 형태의 RAM 또는 ROM 등의 기타 유형의 컴퓨터 판독가능 매체 상에 저장되어 있거나 그로부터 판독될 수 있다. 게다가, 개시된 방법의 단계들이, 본 발명을 벗어나지 않고, 단계들을 재정렬(reorder)하는 것 및/또는 단계들을 삽입 또는 삭제하는 것을 비롯한 임의의 방식으로 수정될 수 있다.
본 명세서에 포함된 코드에서의 저작권을 비롯한 모든 권리가 출원인에 귀속되고 출원인의 소유이다. 출원인은 본 명세서에 포함된 코드에서의 모든 권리를 보유하며, 다른 목적이 아니라 허여된 특허의 재현과 관련해서만 이 자료를 재현할 허가를 부여한다. 본 명세서가 일례들을 포함하고 있지만, 본 발명의 범위는 이하의 특허청구범위에 의해 표시된다. 게다가, 본 명세서가 구조적 특징 및/또는 방법적 동작과 관련하여 기술되어 있지만, 청구항들이 상기한 특정의 특징 또는 동작으로 제한되지는 않는다는 것을 잘 알 것이다. 오히려, 이상에서 기술한 특정의 특징 및 동작은 본 발명의 실시예의 일례로서 개시되어 있다.

Claims (20)

  1. 비디오 스트림 구독을 제공하는 방법으로서,
    제1 클라이언트로부터 적어도 하나의 비디오 스트림을 수신하는 단계와,
    적어도 하나의 제2 클라이언트로부터 비디오 구독 요청을 수신하는 단계 - 상기 비디오 구독 요청은 상기 제1 클라이언트를 식별하고, 저해상도로부터 고해상도까지의 범위에서 비디오 스트림의 해상도를 명시하는 상기 제1 클라이언트로부터 수신될 요청된 해상도를 포함함 - 와,
    상기 제1 클라이언트로부터 수신된 상기 적어도 하나의 비디오 스트림이 상기 적어도 하나의 제2 클라이언트로부터의 상기 비디오 구독 요청과 매칭되는지를 판정하는 단계와,
    상기 제1 클라이언트로부터 수신된 상기 적어도 하나의 비디오 스트림이 상기 적어도 하나의 제2 클라이언트로부터의 상기 비디오 구독 요청과 매칭되지 않는 것으로 판정될 경우, 상기 적어도 하나의 제2 클라이언트로부터의 상기 비디오 구독 요청과 매칭되는 상기 제1 클라이언트로부터의 추가적인 비디오 스트림을 요청하는 단계와,
    상기 제1 클라이언트로부터 수신된 상기 적어도 하나의 비디오 스트림이 상기 적어도 하나의 제2 클라이언트로부터의 상기 비디오 구독 요청과 매칭되는 것으로 판정될 경우, 상기 제1 클라이언트로부터 수신된 상기 적어도 하나의 비디오 스트림을 상기 적어도 하나의 제2 클라이언트에 송신하는 단계
    를 포함하는 비디오 스트림 구독 제공 방법.
  2. 제1항에 있어서,
    상기 비디오 구독 요청은 요청된 프레임 레이트를 더 포함하는
    비디오 스트림 구독 제공 방법.
  3. 제1항에 있어서,
    상기 제1 클라이언트로부터 수신된 상기 적어도 하나의 비디오 스트림이 상기 적어도 하나의 제2 클라이언트로부터의 상기 비디오 구독 요청과 매칭되지 않는 것으로 판정된 것에 응답하여, 상기 적어도 하나의 비디오 스트림을 인코딩하고 송신하는 것을 중단하라는 명령어를 상기 제1 클라이언트에 송신하는 단계
    를 더 포함하는 비디오 스트림 구독 제공 방법.
  4. 제1항에 있어서,
    복수의 클라이언트들을 등록하는 단계와,
    상기 복수의 클라이언트들 각각으로부터 적어도 하나의 비디오 스트림을 수신하는 단계와,
    상기 등록된 클라이언트들 각각으로부터 적어도 하나의 비디오 구독 요청을 수신하는 단계와,
    상기 등록된 클라이언트들 각각으로부터의 상기 적어도 하나의 비디오 구독 요청이 상기 복수의 클라이언트들로부터 수신된 상기 비디오 스트림 중 적어도 하나의 비디오 스트림과 매칭되는지를 판정하는 단계와,
    상기 등록된 클라이언트들 각각으로부터의 상기 적어도 하나의 비디오 구독 요청이 상기 복수의 클라이언트들로부터 수신된 상기 비디오 스트림 중 적어도 하나의 비디오 스트림과 매칭된다는 판정에 응답하여, 상기 수신된 비디오 스트림 중 상기 매칭되는 적어도 하나의 비디오 스트림을 상기 복수의 클라이언트들 각각에 송신하는 단계
    를 더 포함하는 비디오 스트림 구독 제공 방법.
  5. 제4항에 있어서,
    상기 등록된 클라이언트들 각각으로부터의 상기 적어도 하나의 비디오 구독 요청이 상기 복수의 클라이언트들로부터 수신된 상기 비디오 스트림 중 적어도 하나의 비디오 스트림과 매칭되는지를 판정하는 단계는, 상기 수신된 비디오 스트림 중 적어도 하나의 비디오 스트림이 상기 등록된 클라이언트들 각각으로부터의 상기 구독 요청의 요청된 소스 클라이언트, 요청된 해상도 및 요청된 프레임 레이트 중 적어도 하나를 포함하는지를 판정하는 단계를 포함하는
    비디오 스트림 구독 제공 방법.
  6. 제4항에 있어서,
    상기 등록된 클라이언트들 중 적어도 하나의 등록된 클라이언트로부터의 적어도 하나의 비디오 구독 요청이 상기 복수의 클라이언트들로부터 수신된 상기 비디오 스트림 중 적어도 하나의 비디오 스트림에 의해 만족될 수 없는 것으로 판정된 것에 응답하여, 적어도 하나의 수신된 비디오 스트림이 상기 적어도 하나의 비디오 구독 요청과 매칭되도록 변경될 수 있는지를 판정하는 단계와,
    적어도 하나의 수신된 비디오 스트림이 상기 적어도 하나의 비디오 구독 요청과 매칭되도록 변경될 수 있는 것으로 판정된 것에 응답하여, 상기 수신된 비디오 스트림을 변경하는 단계와,
    상기 변경된 비디오 스트림을 상기 등록된 클라이언트들 중 요청하는 적어도 하나의 등록된 클라이언트에 송신하는 단계
    를 더 포함하는 비디오 스트림 구독 제공 방법.
  7. 제6항에 있어서,
    상기 비디오 스트림을 변경하는 단계는, 상기 비디오 스트림을 상이한 해상도로 재인코딩 하는 단계, 상기 비디오 스트림으로부터 적어도 하나의 프레임을 제거(dropping)하는 단계 및 상기 수신된 비디오 스트림 중 적어도 2개의 비디오 스트림을 단일 비디오 스트림으로 결합하는 단계 중 적어도 하나의 단계를 포함하는
    비디오 스트림 구독 제공 방법.
  8. 제4항에 있어서,
    상기 등록된 클라이언트들 중 적어도 하나의 등록된 클라이언트로부터의 적어도 하나의 비디오 구독 요청이 상기 복수의 클라이언트들로부터 수신된 상기 비디오 스트림 중 적어도 하나의 비디오 스트림에 의해 만족될 수 없는 것으로 판정된 것에 응답하여, 상기 구독 요청과 연관된 비디오 스트림 소스 클라이언트가 매칭되는 비디오 스트림을 인코딩할 수 있는지를 판정하는 단계와,
    상기 구독 요청과 연관된 상기 비디오 스트림 소스 클라이언트가 매칭되는 비디오 스트림을 인코딩할 수 있다는 판정에 응답하여, 매칭되는 비디오 스트림을 인코딩하라는 명령어를 상기 비디오 스트림 소스 클라이언트에 송신하는 단계와,
    상기 매칭되는 비디오 스트림을 상기 등록된 클라이언트들 중 요청하는 적어도 하나의 등록된 클라이언트에 송신하는 단계
    를 더 포함하는 비디오 스트림 구독 제공 방법.
  9. 제8항에 있어서,
    상기 구독 요청과 연관된 비디오 스트림 소스 클라이언트가 매칭되는 비디오 스트림을 인코딩할 수 있는지를 판정하는 단계는, 상기 비디오 스트림 소스 클라이언트가 상이한 해상도 및 상이한 프레임 레이트 중 적어도 하나를 포함하는 적어도 2개의 비디오 스트림을 인코딩할 수 있는지를 판정하는 단계를 포함하는
    비디오 스트림 구독 제공 방법.
  10. 제4항에 있어서,
    상기 등록된 클라이언트들 중 적어도 하나의 등록된 클라이언트로부터의 적어도 하나의 비디오 구독 요청이 상기 복수의 클라이언트들로부터 수신된 상기 비디오 스트림 중 적어도 하나의 비디오 스트림에 의해 만족될 수 없는 것으로 판정된 것에 응답하여, 상기 비디오 스트림 중 어느 것이 상기 적어도 하나의 비디오 구독 요청과 가장 가깝게 매칭되는지를 계산하는 단계와,
    상기 적어도 하나의 비디오 구독 요청과 가장 가깝게 매칭되는 비디오 스트림을 상기 등록된 클라이언트들 중 요청하는 적어도 하나의 등록된 클라이언트에 송신하는 단계
    를 더 포함하는 비디오 스트림 구독 제공 방법.
  11. 제10항에 있어서,
    상기 비디오 스트림 중 어느 것이 상기 적어도 하나의 비디오 구독 요청과 가장 가깝게 매칭되는지를 계산하는 단계는,
    상기 비디오 스트림 중 적어도 하나의 비디오 스트림이 상기 구독 요청과 연관된 비디오 스트림 소스 클라이언트와 매칭되는지를 판정하는 단계와,
    상기 비디오 스트림 중 상기 구독 요청과 연관된 상기 비디오 스트림 소스 클라이언트와 매칭되는 상기 적어도 하나의 비디오 스트림이 상기 구독 요청과 연관된 해상도와 매칭되는지를 판정하는 단계와,
    상기 비디오 스트림 중 상기 구독 요청과 연관된 상기 비디오 스트림 소스 클라이언트와 매칭되는 상기 적어도 하나의 비디오 스트림이 상기 구독 요청과 연관된 프레임 레이트와 매칭되는지를 판정하는 단계와,
    상기 비디오 스트림 중 상기 적어도 하나의 비디오 스트림이 상기 비디오 스트림 소스 클라이언트 및 상기 구독 요청과 연관된 상기 해상도와는 매칭되지만 상기 구독 요청과 연관된 상기 프레임 레이트와는 매칭되지 않는 것으로 판정된 것에 응답하여, 상기 비디오 스트림 중 상기 적어도 하나의 비디오 스트림을 요청하는 클라이언트에 송신하는 단계를 포함하는
    비디오 스트림 구독 제공 방법.
  12. 제11항에 있어서,
    상기 비디오 스트림 중 적어도 하나의 비디오 스트림이 상기 구독 요청과 연관된 비디오 스트림 소스 클라이언트와 매칭되지 않는 것으로 판정된 것에 응답하여,
    상기 복수의 클라이언트들 중에서 상기 구독 요청과 연관된 상기 비디오 스트림 소스 클라이언트 이외의 제2 비디오 스트림 소스 클라이언트를 선택하는 단계와,
    상기 선택된 제2 비디오 스트림 소스 클라이언트로부터 수신된 적어도 하나의 비디오 스트림을 상기 요청하는 클라이언트에 송신하는 단계
    를 더 포함하는 비디오 스트림 구독 제공 방법.
  13. 제12항에 있어서,
    상기 복수의 클라이언트들 중에서 상기 구독 요청과 연관된 상기 비디오 스트림 소스 클라이언트 이외의 제2 비디오 스트림 소스 클라이언트를 선택하는 단계는, 현재의 화자를 포함하는 비디오 스트림을 송신하고 있는 클라이언트를 상기 제2 비디오 스트림 소스 클라이언트로 선택하는 단계를 포함하는
    비디오 스트림 구독 제공 방법.
  14. 실행되는 경우, 비디오 스트림 구독을 제공하는 방법을 수행하는 명령어 세트를 저장하는 컴퓨터 판독가능 저장 매체로서,
    상기 명령어 세트에 의해 실행되는 상기 방법은,
    복수의 영상 회의 클라이언트들을 등록하는 단계와,
    상기 복수의 영상 회의 클라이언트들 각각으로부터 적어도 하나의 소스 비디오 스트림을 수신하는 단계와,
    저해상도로부터 고해상도까지의 범위에서 요청된 해상도를 포함하는 적어도 하나의 비디오 스트림 구독 요청을 상기 복수의 영상 회의 클라이언트들 중 적어도 하나의 영상 회의 클라이언트로부터 수신하는 단계와,
    상기 복수의 영상 회의 클라이언트들 각각으로부터 수신된 상기 소스 비디오 스트림 중 적어도 하나의 제1 스트림이 상기 적어도 하나의 비디오 스트림 구독 요청과 매칭되는지를 판정하는 단계와,
    상기 복수의 영상 회의 클라이언트들 각각으로부터 수신된 상기 소스 비디오 스트림 중 상기 적어도 하나의 제1 스트림이 상기 비디오 스트림 구독 요청과 매칭되지 않는 것으로 판정될 경우,
    상기 비디오 스트림 구독 요청과 매칭되는 추가적인 소스 비디오 스트림을 요청하는 단계와,
    상기 소스 비디오 스트림 중 상기 적어도 하나의 제1 스트림 및 상기 비디오 스트림 구독 요청과 매칭되는 요청된 소스 비디오 스트림을 포함하는 복수의 비디오 스트림을 상기 복수의 영상 회의 클라이언트들 각각으로부터 수신하는 단계와,
    상기 복수의 영상 회의 클라이언트들 각각으로부터 수신된 상기 소스 비디오 스트림 중 적어도 하나의 제1 스트림이 상기 적어도 하나의 비디오 스트림 구독 요청과 매칭되는 것으로 판정될 경우, 상기 소스 비디오 스트림 중 상기 매칭되는 적어도 하나의 제1 스트림을 상기 복수의 영상 회의 클라이언트들 중 요청하는 적어도 하나의 영상 회의 클라이언트에 송신하는 단계
    를 포함하는
    컴퓨터 판독가능 저장 매체.
  15. 제14항에 있어서,
    상기 방법은,
    상기 복수의 영상 회의 클라이언트들 중 적어도 하나의 영상 회의 클라이언트로부터 적어도 하나의 제2 비디오 스트림 구독 요청을 수신하는 단계와,
    상기 복수의 영상 회의 클라이언트들 각각으로부터 수신된 상기 소스 비디오 스트림 중 적어도 하나의 제2 스트림이 상기 적어도 하나의 제2 비디오 스트림 구독 요청과 매칭되는지를 판정하는 단계와,
    상기 복수의 영상 회의 클라이언트들 각각으로부터 수신된 상기 소스 비디오 스트림 중 적어도 하나의 제2 스트림이 상기 적어도 하나의 제2 비디오 스트림 구독 요청과 매칭되는 것으로 판정된 것에 응답하여, 상기 소스 비디오 스트림 중 상기 매칭되는 적어도 하나의 제2 스트림을 상기 복수의 영상 회의 클라이언트들 중 요청하는 적어도 하나의 영상 회의 클라이언트에 송신하는 단계
    를 더 포함하는
    컴퓨터 판독가능 저장 매체.
  16. 제15항에 있어서,
    상기 소스 비디오 스트림 중 상기 매칭되는 적어도 하나의 제2 스트림을 상기 복수의 영상 회의 클라이언트들 중 요청하는 적어도 하나의 영상 회의 클라이언트에 송신하는 단계는,
    상기 소스 비디오 스트림 중 상기 매칭되는 적어도 하나의 제1 스트림과 상기 소스 비디오 스트림 중 상기 매칭되는 적어도 하나의 제2 스트림의 합성 비디오 스트림을 생성하는 단계와,
    상기 합성 비디오 스트림을 상기 복수의 영상 회의 클라이언트들 중 요청하는 적어도 하나의 영상 회의 클라이언트에 송신하는 단계를 포함하는
    컴퓨터 판독가능 저장 매체.
  17. 제14항에 있어서,
    상기 방법은 상기 복수의 영상 회의 클라이언트들 중 적어도 하나의 영상 회의 클라이언트로부터 적어도 하나의 제2 소스 비디오 스트림을 수신하는 단계를 더 포함하는 - 상기 적어도 하나의 제2 소스 비디오 스트림은 상기 적어도 하나의 소스 비디오 스트림과 상이한 버전을 포함함 -
    컴퓨터 판독가능 저장 매체.
  18. 제14항에 있어서,
    상기 방법은,
    상기 복수의 영상 회의 클라이언트들 중 제1 영상 회의 클라이언트로부터 제1 비디오 소스 스트림 및 제2 비디오 소스 스트림을 수신하는 단계 - 상기 제2 비디오 소스 스트림은 상기 제1 비디오 소스 스트림의 저해상도 버전을 포함함 - 와,
    상기 복수의 영상 회의 클라이언트들 중 제2 영상 회의 클라이언트로부터 제3 비디오 소스 스트림 및 제4 비디오 소스 스트림을 수신하는 단계 - 상기 제4 비디오 소스 스트림은 상기 제3 비디오 소스 스트림의 저해상도 버전을 포함함 - 와,
    상기 제1 영상 회의 클라이언트 및 상기 제2 영상 회의 클라이언트로부터의 소스 비디오 스트림에 대한 구독 요청을 상기 복수의 영상 회의 클라이언트들 중 제3 영상 회의 클라이언트로부터 수신하는 단계와,
    상기 제1 영상 회의 클라이언트로부터의 상기 제2 비디오 소스 스트림 및 상기 제2 영상 회의 클라이언트로부터의 상기 제4 비디오 소스 스트림의 합성 비디오 스트림을 생성하는 단계와,
    상기 합성 비디오 스트림을 상기 제3 영상 회의 클라이언트에 송신하는 단계
    를 더 포함하는
    컴퓨터 판독가능 저장 매체.
  19. 제14항에 있어서,
    상기 방법은,
    적어도 하나의 제1 영상 회의 클라이언트로부터 적어도 하나의 제1 비디오 소스 스트림을 수신하는 단계와,
    적어도 하나의 제2 영상 회의 클라이언트로부터 적어도 하나의 제2 비디오 소스 스트림을 수신하는 단계와,
    상기 적어도 하나의 제1 영상 회의 클라이언트 및 상기 적어도 하나의 제2 영상 회의 클라이언트로부터의 소스 비디오 스트림에 대한 구독 요청을 적어도 하나의 제3 영상 회의 클라이언트로부터 수신하는 단계와,
    상기 적어도 하나의 제1 비디오 소스 스트림 및 상기 적어도 하나의 제2 비디오 소스 스트림의 합성 비디오 스트림을 생성하는 단계 - 상기 합성 비디오 스트림을 생성하는 단계는,
    상기 적어도 하나의 제1 비디오 소스 스트림의 프레임 레이트를 변경하는 단계와,
    상기 적어도 하나의 제2 비디오 소스 스트림의 프레임 레이트를 변경하는 단계와,
    상기 변경된 제1 비디오 소스 스트림 및 상기 변경된 제2 비디오 소스 스트림을 단일 비디오 스트림으로 결합하는 단계를 포함함 - 와,
    상기 합성 비디오 스트림을 상기 적어도 하나의 제3 영상 회의 클라이언트에 송신하는 단계
    를 더 포함하는
    컴퓨터 판독가능 저장 매체.
  20. 영상 회의의 구독을 제공하는 시스템으로서,
    메모리 저장 장치(memory storage)와,
    상기 메모리 저장 장치에 결합된 처리 장치(processing unit)
    를 포함하고,
    상기 처리 장치는,
    상기 영상 회의에 참여하는 복수의 영상 회의 클라이언트들로부터 복수의 비디오 스트림을 수신하고 - 각각의 클라이언트는 상기 복수의 비디오 스트림 중 적어도 하나의 비디오 스트림을 송신함 -,
    상기 영상 회의에 참여하는 상기 복수의 영상 회의 클라이언트들 중 적어도 하나의 영상 회의 클라이언트로부터 적어도 하나의 구독 요청을 수신하며 - 상기 구독 요청은 상기 영상 회의에 참여하는 상기 복수의 클라이언트들 중 특정 클라이언트를 식별하고, 상기 구독 요청은 상기 복수의 비디오 스트림들 중 적어도 하나의 비디오 스트림에 대한 요청, 저해상도로부터 고해상도까지 범위에서의 요청된 해상도 및 요청된 프레임 레이트를 포함함 -,
    상기 복수의 비디오 스트림 중 상기 요청된 적어도 하나의 비디오 스트림이 상기 요청된 해상도로 상기 식별된 클라이언트로부터 수신되고 있는지를 판정하고,
    상기 복수의 비디오 스트림 중 상기 요청된 적어도 하나의 비디오 스트림이 상기 요청된 프레임 레이트로 상기 식별된 클라이언트로부터 수신되고 있는지를 판정하며,
    상기 복수의 비디오 스트림 중 상기 요청된 적어도 하나의 비디오 스트림이 상기 식별된 클라이언트로부터 상기 요청된 해상도로는 수신되고 있지만 상기 요청된 프레임 레이트로는 수신되지 않고 있다는 판정에 응답하여, 상기 영상 회의에 참여하는 상기 복수의 영상 회의 클라이언트들 중 상기 구독 요청을 송신하는 적어도 하나의 영상 회의 클라이언트에게 상기 복수의 비디오 스트림 중 상기 요청된 적어도 하나의 비디오 스트림을 상기 요청된 프레임 레이트로는 아니지만 상기 요청된 해상도로는 송신하도록 동작하는
    영상 회의 구독 제공 시스템.
KR1020117013104A 2008-12-15 2009-11-09 다중 비트 전송률 스트림을 사용한 영상 회의 구독 KR101617906B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/334,836 US20100149301A1 (en) 2008-12-15 2008-12-15 Video Conferencing Subscription Using Multiple Bit Rate Streams
US12/334,836 2008-12-15

Publications (2)

Publication Number Publication Date
KR20110103948A KR20110103948A (ko) 2011-09-21
KR101617906B1 true KR101617906B1 (ko) 2016-05-03

Family

ID=42240011

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117013104A KR101617906B1 (ko) 2008-12-15 2009-11-09 다중 비트 전송률 스트림을 사용한 영상 회의 구독

Country Status (11)

Country Link
US (1) US20100149301A1 (ko)
EP (1) EP2359531A4 (ko)
JP (1) JP5781441B2 (ko)
KR (1) KR101617906B1 (ko)
CN (1) CN102246458B (ko)
AU (1) AU2009330646B2 (ko)
BR (1) BRPI0921384A2 (ko)
CA (1) CA2742466A1 (ko)
RU (1) RU2527206C2 (ko)
TW (1) TWI479840B (ko)
WO (1) WO2010074826A1 (ko)

Families Citing this family (79)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8797377B2 (en) 2008-02-14 2014-08-05 Cisco Technology, Inc. Method and system for videoconference configuration
US8694658B2 (en) 2008-09-19 2014-04-08 Cisco Technology, Inc. System and method for enabling communication sessions in a network environment
JP5495572B2 (ja) * 2009-01-07 2014-05-21 キヤノン株式会社 プロジェクタ・システム及びこれを含むビデオ会議システム
US8659637B2 (en) 2009-03-09 2014-02-25 Cisco Technology, Inc. System and method for providing three dimensional video conferencing in a network environment
US20100251313A1 (en) 2009-03-31 2010-09-30 Comcast Cable Communications, Llc Bi-directional transfer of media content assets in a content delivery network
US20100302346A1 (en) * 2009-05-27 2010-12-02 Tingxue Huang System for processing and synchronizing large scale video conferencing and document sharing
US8659639B2 (en) 2009-05-29 2014-02-25 Cisco Technology, Inc. System and method for extending communications between participants in a conferencing environment
WO2010147263A1 (en) * 2009-06-16 2010-12-23 Lg Electronics Inc. Method of exchanging messages, sink device and source device
US9082297B2 (en) 2009-08-11 2015-07-14 Cisco Technology, Inc. System and method for verifying parameters in an audiovisual environment
US20110066745A1 (en) * 2009-09-14 2011-03-17 Sony Ericsson Mobile Communications Ab Sharing video streams in commnication sessions
US8621098B2 (en) * 2009-12-10 2013-12-31 At&T Intellectual Property I, L.P. Method and apparatus for providing media content using a mobile device
US20110157298A1 (en) * 2009-12-31 2011-06-30 Tingxue Huang System for processing and synchronizing large scale video conferencing and document sharing
US9225916B2 (en) 2010-03-18 2015-12-29 Cisco Technology, Inc. System and method for enhancing video images in a conferencing environment
US9313452B2 (en) 2010-05-17 2016-04-12 Cisco Technology, Inc. System and method for providing retracting optics in a video conferencing environment
US8947492B2 (en) * 2010-06-18 2015-02-03 Microsoft Corporation Combining multiple bit rate and scalable video coding
US8576271B2 (en) * 2010-06-25 2013-11-05 Microsoft Corporation Combining direct and routed communication in a video conference
EP2408196B1 (en) * 2010-07-14 2017-01-11 Alcatel Lucent A method, server and terminal for generating a composite view from multiple content items
US8896655B2 (en) 2010-08-31 2014-11-25 Cisco Technology, Inc. System and method for providing depth adaptive video conferencing
US8599934B2 (en) 2010-09-08 2013-12-03 Cisco Technology, Inc. System and method for skip coding during video conferencing in a network environment
US8599865B2 (en) 2010-10-26 2013-12-03 Cisco Technology, Inc. System and method for provisioning flows in a mobile network environment
JP2012099890A (ja) * 2010-10-29 2012-05-24 Sony Corp 画像処理装置、画像処理方法、および画像処理システム
US8699457B2 (en) 2010-11-03 2014-04-15 Cisco Technology, Inc. System and method for managing flows in a mobile network environment
US9338394B2 (en) 2010-11-15 2016-05-10 Cisco Technology, Inc. System and method for providing enhanced audio in a video environment
US9143725B2 (en) 2010-11-15 2015-09-22 Cisco Technology, Inc. System and method for providing enhanced graphics in a video environment
US8902244B2 (en) 2010-11-15 2014-12-02 Cisco Technology, Inc. System and method for providing enhanced graphics in a video environment
US8730297B2 (en) 2010-11-15 2014-05-20 Cisco Technology, Inc. System and method for providing camera functions in a video environment
US8723914B2 (en) 2010-11-19 2014-05-13 Cisco Technology, Inc. System and method for providing enhanced video processing in a network environment
US9111138B2 (en) 2010-11-30 2015-08-18 Cisco Technology, Inc. System and method for gesture interface control
US8838680B1 (en) 2011-02-08 2014-09-16 Google Inc. Buffer objects for web-based configurable pipeline media processing
US8692862B2 (en) * 2011-02-28 2014-04-08 Cisco Technology, Inc. System and method for selection of video data in a video conference environment
US8984144B2 (en) 2011-03-02 2015-03-17 Comcast Cable Communications, Llc Delivery of content
US8670019B2 (en) 2011-04-28 2014-03-11 Cisco Technology, Inc. System and method for providing enhanced eye gaze in a video conferencing environment
US8681866B1 (en) 2011-04-28 2014-03-25 Google Inc. Method and apparatus for encoding video by downsampling frame resolution
US8786631B1 (en) 2011-04-30 2014-07-22 Cisco Technology, Inc. System and method for transferring transparency information in a video environment
US9106787B1 (en) 2011-05-09 2015-08-11 Google Inc. Apparatus and method for media transmission bandwidth control using bandwidth estimation
US8934026B2 (en) 2011-05-12 2015-01-13 Cisco Technology, Inc. System and method for video coding in a dynamic environment
US8947493B2 (en) 2011-11-16 2015-02-03 Cisco Technology, Inc. System and method for alerting a participant in a video conference
US8782271B1 (en) * 2012-03-19 2014-07-15 Google, Inc. Video mixing using video speech detection
US9185429B1 (en) 2012-04-30 2015-11-10 Google Inc. Video encoding and decoding using un-equal error protection
CN103384235B (zh) 2012-05-04 2017-09-29 腾讯科技（深圳）有限公司 多人会话时数据呈现的方法、服务器及系统
WO2014014238A1 (en) 2012-07-17 2014-01-23 Samsung Electronics Co., Ltd. System and method for providing image
US20140028788A1 (en) * 2012-07-30 2014-01-30 Polycom, Inc. Method and system for conducting video conferences of diverse participating devices
US9131111B2 (en) * 2012-11-02 2015-09-08 OpenExchange, Inc. Methods and apparatus for video communications
CN103856741B (zh) * 2012-12-06 2017-06-06 中兴通讯股份有限公司 视频会议流控方法及视频会议多点控制装置
US8976223B1 (en) * 2012-12-21 2015-03-10 Google Inc. Speaker switching in multiway conversation
US9172740B1 (en) 2013-01-15 2015-10-27 Google Inc. Adjustable buffer remote access
US9311692B1 (en) 2013-01-25 2016-04-12 Google Inc. Scalable buffer remote access
US9225979B1 (en) 2013-01-30 2015-12-29 Google Inc. Remote access encoding
NO341411B1 (no) * 2013-03-04 2017-10-30 Cisco Tech Inc Virtuelle endepunkter i videokonferanser
CN103404132B (zh) * 2013-03-08 2016-10-12 华为终端有限公司 视频通信方法及家庭终端、家庭服务器
JP2014183321A (ja) * 2013-03-15 2014-09-29 Ricoh Co Ltd 通信システム、通信装置及び通信プログラム
EP2884743A1 (en) * 2013-12-12 2015-06-17 Alcatel Lucent Process for managing the exchanges of video streams between users of a video conference service
WO2016003344A1 (en) * 2014-07-04 2016-01-07 Telefonaktiebolaget L M Ericsson (Publ) Priority of uplink streams in video switching
DE102014115188A1 (de) * 2014-10-17 2016-04-21 Visocon Gmbh Verfahren zur Anpassung eines zu übertragenden Datenstroms an eine Ressourcenauslastung
JP6435987B2 (ja) * 2015-05-18 2018-12-12 富士通株式会社 通信装置、通信システム、および、通信方法
KR20170012979A (ko) 2015-07-27 2017-02-06 삼성전자주식회사 영상 공유 서비스를 위한 전자 장치 및 방법
CN105897698B (zh) * 2016-03-28 2019-08-30 深圳明心科技有限公司 一种基于QoS的多流的视频会议系统及控制方法
US10332296B2 (en) * 2016-07-05 2019-06-25 Ubitus Inc. Overlaying multi-source media in VRAM
KR101770070B1 (ko) 2016-08-16 2017-08-21 라인 가부시키가이샤 비디오 컨퍼런스를 위한 비디오 스트림 제공 방법 및 시스템
CN108063745B (zh) * 2016-11-08 2019-03-01 视联动力信息技术股份有限公司 一种基于安卓设备的视频通话方法及其系统
US10523820B2 (en) 2017-06-02 2019-12-31 Apple Inc. High-quality audio/visual conferencing
US10708320B2 (en) * 2017-06-27 2020-07-07 Atlassian Pty Ltd Selective internal forwarding in conferences with distributed media servers
CN108134918A (zh) * 2018-01-30 2018-06-08 苏州科达科技股份有限公司 视频处理方法、装置及多点视频处理单元、会议设备
US11317130B2 (en) 2018-02-27 2022-04-26 Verizon Patent And Licensing Inc. Method and system for carrier-initiated traffic tuning and communication of subscriber parameters
US10820236B2 (en) 2018-02-27 2020-10-27 Verizon Patent And Licensing Inc. Method and system for carrier-initiated traffic tuning and communication of subscriber parameters
CN111083430B (zh) * 2018-10-18 2021-04-23 杭州海康威视系统技术有限公司 一种图像获取方法、装置、电子设备及存储介质
CN111385515B (zh) * 2018-12-27 2022-01-11 北京紫荆视通科技有限公司 视频会议数据的传输方法和视频会议数据的传输系统
CN111385516A (zh) * 2018-12-27 2020-07-07 北京紫荆视通科技有限公司 多媒体资源的传输方法、装置、系统和可读存储介质
CN109819333B (zh) * 2019-01-10 2021-05-07 广州视源电子科技股份有限公司 视频流码率分配方法、装置及计算机可读存储介质
CN109660826B (zh) * 2019-02-01 2020-09-29 广州视源电子科技股份有限公司 一种视频传输方法、装置、设备及存储介质
CN112995570B (zh) * 2019-12-18 2023-08-01 中国移动通信有限公司研究院 一种信息处理方法、装置、设备、系统及存储介质
CN111083428A (zh) * 2019-12-27 2020-04-28 北京东土科技股份有限公司 音视频数据处理方法、装置、计算机设备及存储介质
US10999344B1 (en) * 2020-06-15 2021-05-04 Google Llc Dynamic video resolution and quality for improved video conferencing
CN111935436B (zh) * 2020-09-15 2021-02-19 杭州盖视科技有限公司 多视频流在播放端的无缝切换方法与系统
CN114500914A (zh) * 2020-11-11 2022-05-13 中兴通讯股份有限公司 音视频转发方法、装置、终端与系统
WO2023063945A1 (en) * 2021-10-13 2023-04-20 Hewlett-Packard Development Company, L.P. Output of video streams at multiple resolutions
CN116418937A (zh) * 2021-12-31 2023-07-11 广州迈聆信息科技有限公司 视频分辨率调整方法、装置、存储介质以及电子设备
CN115865877B (zh) * 2023-02-13 2023-05-16 共道网络科技有限公司 音视频处理方法、设备及计算机可读存储介质
CN116938897B (zh) * 2023-09-19 2023-12-15 好信云(北京)网络通信有限公司 一种用于会议的实时通信的方法和装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060245377A1 (en) * 2005-04-28 2006-11-02 Hyeonkuk Jeong Heterogeneous video conferencing

Family Cites Families (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5687095A (en) * 1994-11-01 1997-11-11 Lucent Technologies Inc. Video transmission rate matching for multimedia communication systems
US5600646A (en) * 1995-01-27 1997-02-04 Videoserver, Inc. Video teleconferencing system with digital transcoding
US5838664A (en) * 1997-07-17 1998-11-17 Videoserver, Inc. Video teleconferencing system with digital transcoding
US5963547A (en) * 1996-09-18 1999-10-05 Videoserver, Inc. Method and apparatus for centralized multipoint conferencing in a packet network
US6229850B1 (en) * 1997-07-22 2001-05-08 C-Cube Semiconductor Ii, Inc. Multiple resolution video compression
US6091777A (en) * 1997-09-18 2000-07-18 Cubic Video Technologies, Inc. Continuously adaptive digital video compression system and method for a web streamer
US6622171B2 (en) * 1998-09-15 2003-09-16 Microsoft Corporation Multimedia timeline modification in networked client/server systems
US6501797B1 (en) * 1999-07-06 2002-12-31 Koninklijke Phillips Electronics N.V. System and method for improved fine granular scalable video using base layer coding information
US7111316B1 (en) * 1999-08-06 2006-09-19 Wisconsin Alumni Research Foundation Method for efficient, on-demand data streaming
US7089285B1 (en) * 1999-10-05 2006-08-08 Polycom, Inc. Videoconferencing apparatus having integrated multi-point conference capabilities
KR20020070362A (ko) * 1999-12-22 2002-09-06 제너럴 인스트루먼트 코포레이션 공간 스케일성 및 시뮬캐스트 코딩을 이용한 멀티캐스트환경의 비디오 압축
JP2002034047A (ja) * 2000-07-18 2002-01-31 Pioneer Electronic Corp 画像符号化装置及び画像符号化方法、情報符号化装置及び情報符号化方法、情報記録装置並びに情報記録媒体
US7007098B1 (en) * 2000-08-17 2006-02-28 Nortel Networks Limited Methods of controlling video signals in a video conference
US7313593B1 (en) * 2000-10-24 2007-12-25 International Business Machines Corporation Method and apparatus for providing full duplex and multipoint IP audio streaming
US20020131496A1 (en) * 2001-01-18 2002-09-19 Vinod Vasudevan System and method for adjusting bit rate and cost of delivery of digital data
US6766407B1 (en) * 2001-03-27 2004-07-20 Microsoft Corporation Intelligent streaming framework
EP1438673B1 (en) * 2001-09-26 2012-11-21 Interact Devices Inc. System and method for communicating media signals
US6535238B1 (en) * 2001-10-23 2003-03-18 International Business Machines Corporation Method and apparatus for automatically scaling processor resource usage during video conferencing
EP1454281B1 (en) * 2001-12-15 2012-02-08 Thomson Licensing Quality of service setup on a time reservation basis
US7362349B2 (en) * 2002-07-10 2008-04-22 Seiko Epson Corporation Multi-participant conference system with controllable content delivery using a client monitor back-channel
US20090118019A1 (en) * 2002-12-10 2009-05-07 Onlive, Inc. System for streaming databases serving real-time applications used through streaming interactive video
US7034860B2 (en) * 2003-06-20 2006-04-25 Tandberg Telecom As Method and apparatus for video conferencing having dynamic picture layout
US20040257434A1 (en) * 2003-06-23 2004-12-23 Robert Davis Personal multimedia device video format conversion across multiple video formats
US7054774B2 (en) * 2003-06-27 2006-05-30 Microsoft Corporation Midstream determination of varying bandwidth availability
US20050013309A1 (en) * 2003-07-14 2005-01-20 Channasandra Ravishankar System and method for high quality video conferencing with heterogeneous end-points and networks
US20050049957A1 (en) * 2003-08-29 2005-03-03 Valla Vakili System and method for auctioning utilizing a broadcast-based device
US7346556B2 (en) * 2003-08-29 2008-03-18 Yahoo! Inc. System and method for performing purchase transactions utilizing a broadcast-based device
US20050076363A1 (en) * 2003-08-29 2005-04-07 Derek Dukes System and method for navigation of a multimedia interface
US7844992B2 (en) * 2003-09-10 2010-11-30 Thomson Licensing Video on demand server system and method
IL158276A (en) * 2003-10-02 2010-04-29 Radvision Ltd Method for dynamically optimizing bandwidth allocation in variable bitrate (multi-rate) conferences
NO318911B1 (no) * 2003-11-14 2005-05-23 Tandberg Telecom As Distribuert sammensetting av sanntids-media
US7447740B2 (en) * 2003-12-19 2008-11-04 Microsoft Corporation Internet video conferencing on a home television
CN100507811C (zh) * 2004-06-03 2009-07-01 希尔克瑞斯特实验室公司 用于生成可缩放的用户界面的系统及方法
WO2006007527A2 (en) * 2004-07-01 2006-01-19 Qualcomm Incorporated Method and apparatus for using frame rate up conversion techniques in scalable video coding
US20060047779A1 (en) * 2004-07-12 2006-03-02 Sharp Laboratories Of America, Inc. HTTP agent-driven content negotiation for scalable video coding
US8442108B2 (en) * 2004-07-12 2013-05-14 Microsoft Corporation Adaptive updates in motion-compensated temporal filtering
US8340177B2 (en) * 2004-07-12 2012-12-25 Microsoft Corporation Embedded base layer codec for 3D sub-band coding
US8374238B2 (en) * 2004-07-13 2013-02-12 Microsoft Corporation Spatial scalability in 3D sub-band decoding of SDMCTF-encoded video
US7543073B2 (en) * 2004-12-10 2009-06-02 Microsoft Corporation System and process for performing an exponentially weighted moving average on streaming data to establish a moving average bit rate
US20060143678A1 (en) * 2004-12-10 2006-06-29 Microsoft Corporation System and process for controlling the coding bit rate of streaming media data employing a linear quadratic control technique and leaky bucket model
US7536469B2 (en) * 2004-12-10 2009-05-19 Microsoft Corporation System and process for controlling the coding bit rate of streaming media data employing a limited number of supported coding bit rates
US7653129B2 (en) * 2004-12-28 2010-01-26 General Instrument Corporation Method and apparatus for providing intra coding frame bit budget
WO2006126974A1 (en) * 2005-04-11 2006-11-30 Tubitak Bilten Optimal video adaptation for resource constrained mobile devices based on subjective utility models
WO2006116659A2 (en) * 2005-04-28 2006-11-02 Apple Computer, Inc. Video processing in a multi-participant video conference
US7899170B2 (en) * 2005-04-28 2011-03-01 Apple Inc. Multi-participant conference setup
US7692682B2 (en) * 2005-04-28 2010-04-06 Apple Inc. Video encoding in a video conference
US20070022215A1 (en) * 2005-07-19 2007-01-25 Singer David W Method and apparatus for media data transmission
US20070024705A1 (en) * 2005-08-01 2007-02-01 Richter Roger K Systems and methods for video stream selection
KR100703354B1 (ko) * 2005-08-11 2007-04-03 삼성전자주식회사 휴대단말기의 화상통화모드에서 영상데이터 전송방법
EP1758334A1 (en) * 2005-08-26 2007-02-28 Matsushita Electric Industrial Co., Ltd. Establishment of media sessions with media adaptation
EP1966917B1 (en) * 2005-09-07 2016-05-04 Vidyo, Inc. System and method for a conference server architecture for low delay and distributed conferencing applications
DE102005050588B4 (de) * 2005-10-21 2010-07-08 Siemens Ag Signalisierung bezüglich des Aufbaus von H.324 Videotelefonie zwischen einer Mediagateway und einem Controller
JP2007124354A (ja) * 2005-10-28 2007-05-17 Canon Inc サーバ及びその制御方法並びに映像配信システム
CN101341746B (zh) * 2005-12-22 2011-11-30 维德约股份有限公司 用于使用可缩放视频编码和合成可缩放视频会议服务器进行视频会议的系统和方法
US8619865B2 (en) * 2006-02-16 2013-12-31 Vidyo, Inc. System and method for thinning of scalable video coding bit-streams
US7916755B2 (en) * 2006-02-27 2011-03-29 Time Warner Cable Inc. Methods and apparatus for selecting digital coding/decoding technology for programming and data delivery
US8718100B2 (en) * 2006-02-27 2014-05-06 Time Warner Cable Enterprises Llc Methods and apparatus for selecting digital interface technology for programming and data delivery
JP4585479B2 (ja) * 2006-03-30 2010-11-24 株式会社東芝 サーバ装置および映像配信方法
EP2020813B1 (en) * 2006-05-24 2013-04-17 Huawei Technologies Co., Ltd. A method, device and system for implementing the session service
US7773672B2 (en) * 2006-05-30 2010-08-10 Freescale Semiconductor, Inc. Scalable rate control system for a video encoder
KR100800748B1 (ko) * 2006-07-28 2008-02-01 삼성전자주식회사 블루투스를 이용한 동영상 스트림 전송 장치 및 방법
US7764632B2 (en) * 2006-08-24 2010-07-27 Interwise Ltd. Software bridge for multi-point multi-media teleconferencing and telecollaboration
EP2069951A4 (en) * 2006-09-29 2013-06-05 Vidyo Inc SYSTEM AND METHOD FOR MULTIPORT CONFERENCES WITH SCALABLE VIDEO CODING SERVER AND MULTICAST
JP2008288974A (ja) * 2007-05-18 2008-11-27 Sony Corp ビデオ会議システム及びビデオ会議装置
US8243119B2 (en) * 2007-09-30 2012-08-14 Optical Fusion Inc. Recording and videomail for video conferencing call systems
US20090184962A1 (en) * 2008-01-22 2009-07-23 Dell Product L.P. Systems and Methods for Managing Video Resolution in a Multiple-Output Information Handling System
US8144187B2 (en) * 2008-03-14 2012-03-27 Microsoft Corporation Multiple video stream capability negotiation
US8421840B2 (en) * 2008-06-09 2013-04-16 Vidyo, Inc. System and method for improved view layout management in scalable video and audio communication systems
WO2009155398A1 (en) * 2008-06-20 2009-12-23 Dolby Laboratories Licensing Corporation Video compression under multiple distortion constraints
US8319820B2 (en) * 2008-06-23 2012-11-27 Radvision, Ltd. Systems, methods, and media for providing cascaded multi-point video conferencing units
US8249144B2 (en) * 2008-07-08 2012-08-21 Imagine Communications Ltd. Distributed transcoding
US20100091888A1 (en) * 2008-10-13 2010-04-15 General Instrument Corporation Multi-Rate Encoder with GOP Alignment
US8380790B2 (en) * 2008-12-15 2013-02-19 Microsoft Corporation Video conference rate matching
EP2543189A1 (en) * 2010-03-05 2013-01-09 Thomson Licensing Bit rate adjustment in an adaptive streaming system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060245377A1 (en) * 2005-04-28 2006-11-02 Hyeonkuk Jeong Heterogeneous video conferencing

Also Published As

Publication number Publication date
TWI479840B (zh) 2015-04-01
RU2011124036A (ru) 2013-01-10
RU2527206C2 (ru) 2014-08-27
CA2742466A1 (en) 2010-07-01
AU2009330646A1 (en) 2011-06-30
KR20110103948A (ko) 2011-09-21
EP2359531A4 (en) 2015-10-07
US20100149301A1 (en) 2010-06-17
JP2012512604A (ja) 2012-05-31
CN102246458B (zh) 2015-06-17
CN102246458A (zh) 2011-11-16
WO2010074826A1 (en) 2010-07-01
EP2359531A1 (en) 2011-08-24
AU2009330646B2 (en) 2014-07-24
BRPI0921384A2 (pt) 2018-06-19
JP5781441B2 (ja) 2015-09-24
TW201126963A (en) 2011-08-01

Similar Documents

Publication Publication Date Title
KR101617906B1 (ko) 다중 비트 전송률 스트림을 사용한 영상 회의 구독
US8380790B2 (en) Video conference rate matching
US8947492B2 (en) Combining multiple bit rate and scalable video coding
US9407867B2 (en) Distributed recording or streaming of a videoconference in multiple formats
US8780166B2 (en) Collaborative recording of a videoconference using a recording server
US8786666B2 (en) Providing separate video and presentation streams to a recording server
EP2751991B1 (en) User interface control in a multimedia conference system
KR20180091319A (ko) 사운드 공유 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee