KR101224097B1 - 다자간 회의의 제어 방법 및 장치 - Google Patents

다자간 회의의 제어 방법 및 장치 Download PDF

Info

Publication number
KR101224097B1
KR101224097B1 KR1020107027513A KR20107027513A KR101224097B1 KR 101224097 B1 KR101224097 B1 KR 101224097B1 KR 1020107027513 A KR1020107027513 A KR 1020107027513A KR 20107027513 A KR20107027513 A KR 20107027513A KR 101224097 B1 KR101224097 B1 KR 101224097B1
Authority
KR
South Korea
Prior art keywords
resolution
terminal
code stream
base layer
coding
Prior art date
Application number
KR1020107027513A
Other languages
English (en)
Other versions
KR20110015614A (ko
Inventor
징 왕
Original Assignee
후아웨이 테크놀러지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후아웨이 테크놀러지 컴퍼니 리미티드 filed Critical 후아웨이 테크놀러지 컴퍼니 리미티드
Publication of KR20110015614A publication Critical patent/KR20110015614A/ko
Application granted granted Critical
Publication of KR101224097B1 publication Critical patent/KR101224097B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1818—Conference organisation arrangements, e.g. handling schedules, setting up parameters needed by nodes to attend a conference, booking network resources, notifying involved parties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/756—Media network packet handling adapting media to device capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/765—Media network packet handling intermediate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440227—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4516—Management of client data or end-user data involving client characteristics, e.g. Set-Top-Box type, software version or amount of memory available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64784—Data processing by the network
    • H04N21/64792—Controlling the complexity of the content stream, e.g. by dropping packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/654—Transmission by server directed to the client
    • H04N21/6547—Transmission by server directed to the client comprising parameters, e.g. for client setup
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Graphics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Telephonic Communication Services (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

다자간 회의를 제어하기 위한 방법 및 장치에 대해 서술한다. 상기 방법은, 각각의 단말기의 해상도-계층화 코딩 파라미터를 결정하는 단계; 상기 결정된 해상도-계층화 코딩 파라미터를 대응하는 단말기에 송신하는 단계; 각각의 단말기가 송신하는 코드 스트림을 수신하는 단계; 상기 수신한 코드 스트림 중 각각의 단말기의 디스플레이 요건에 따라 각각의 단말기가 디스플레이할 코드 스트림을 선택하는 단계; 상기 선택한 코드 스트림을 상기 대응하는 단말기가 디코딩할 수 있는 코드 스트림으로 트랜스코딩 또는 맵핑하는 단계; 및 상기 디코딩할 수 있는 코드 스트림을 상기 대응하는 단말기에 송신하는 단계를 포함한다. 본 발명의 실시예는 MCU를 사용하여 해상도-계층화 코딩을 제어하고, 이에 따라 시스템은 계층화 프로토콜을 지원하는 단말기 및 계층화 프로토콜을 지원하지 않는 단말기 모두를 포함할 수 있다. 또한, 계산은 감소되고, 시스템 효율성은 향상된다.

Description

다자간 회의의 제어 방법 및 장치{CONTROLLING METHOD AND DEVICE OF MULTI-POINT MEETING}
본 발명은 통신 기술에 관한 것이며, 특히 다자간 회의를 제어하기 위한 방법 및 장치에 관한 것이다.
현재, 이미지 전송 분야에 통신 기술이 폭넓게 적용되고 있다. 이미지 전송 분에서의 중요한 어플리케이션은, 복수의 단말기가 동시에 참여하는 통상의 영상 회의 통신과, 하나의 단말기 화면에 복수 단말기의 영상 정보를 동시에 디스플레이하는 연속적인 프레즌스 영상 회의(continuous video conference)를 포함하여 영상 회의를 하는 것이다.
통상의 영상 회의 어플리케이션에서, 영상 회로 시스템은 상이한 처리 능력을 가진 복수의 단말기를 포함할 수 있는데, 예를 들어 고선명 단말기(일반적으로, 1280 X 720 픽셀, 프로그레시브 스캐닝 또는 초고선명을 나타내는 720P), 표준 선명 단말기(일반적으로, 704 X 576 픽셀을 나타내는 4CIF), 및 범용 단말기(일반적으로, 352 X 288 픽셀을 나타내는 CIF)를 포함할 수 있다. 처리 능력이 상이한 단말기들이 동시에 회의에 입장할 때는, 모든 단말기의 화면이 이미지를 적절하게 디스플레이할 수 있도록 모든 단말기들의 이미지 전송 능력을 동등하게 해야 한다.
모든 단말기의 이미지 전송 능력을 동등하게 하는 방법은, 영상 회의 시스템 내의 단말기들을 제어하는 다자간 제어 유닛(MCU)이 각각의 단말기의 해상도 성능 정보를 수신하고, 모든 단말기들의 공통의 최고 성능을 영상 회의에 적용하는 단계; 및 영상 회의에 참여하는 단말기들이 그 협의된 공통의 최고 성능에 따라 이미지를 인코딩 및 디코딩하는 단계를 포함한다. 그렇지만, 영상 회의 시스템의 모든 단말기가 그 협의된 공통의 최고 성능을 적용하여 회의를 소집하는 경우, 저 해상도의 단말기가 하나 있으면 고해상도의 단말기들 간에 이미지가 전송될 때 저해상도의 이미지만이 제공된다.
모든 단말기의 이미지 전송 능력을 동등하게 하는 다른 방법에서, MCU는 이러한 방식으로 코드 스트림에 대한 적응(adaptation) 및 트랜스코딩을 수행하는 데: 상기 MCU는 수신된 고 공간 해상도 코드 스트림(high-spatial resolution code stream)을 디코딩하고, 그 디코딩된 이미지를 저해상도 이미지로 다운스케일링하고, 상기 저해상도 이미지를 인코딩하여 이 저해상도 이미지의 코드 스트림을 획득한 다음, 이 저해상도 이미지의 코드 스트림을, 이미지를 저해상도로 디스플레이해야 하는 단말기에 송신한다. 그렇지만, 이 방법에서는 코드 스트림을 디코딩하고, 모든 고해상도 이미지를 다운스케일링하며, 저해상도 이미지를 코딩해야 하므로, 계산이 복잡하게 되어 효율성이 떨어진다.
도 1에 도시된 바와 같이, 종래 기술의 영상 회의 시스템은, 단말기 1 내지 단말기 N, 및 이러한 단말기들을 접속시키는 MCU를 포함한다. MCU는 독립형일 수 있거나 단말기에 내장되어 있을 수도 있다.
도 1에 도시된 영상 회의 시스템을 이용하여 회의를 소집하는 프로세스는 이하의 단계를 포함한다:
단계 1: 시스템 내의 MCU는 시스템 내의 모든 단말기의 공통의 최고 회의 성능을 결정하고, 그 결정된 공통의 최고 회의 성능을 시스템 내의 모든 단말기에 송신한다.
단계 2: 공통의 최고 회의 성능을 알게 된 후, 시스템 내의 모든 단말기는 그 공통의 최고 회의 성능에 따라 이미지를 인코딩한 다음 코드 스트림을 송신한다.
단계 3: 시스템 내의 MCU는 단말기가 송신한 코드 스트림을 수신한 다음, 그 코드 스트림을 수신해야 하는 단말기에 그 코드 스트림을 송신한다.
이 방법에는 다음과 같은 단점이 있다: 하나의 저해상도 단말기가 있는 한, 고해상도 단말기들 사이에 이미지가 전송되면 저해상도 이미지만이 제공된다.
도 1에 도시된 영상 회의 시스템을 이용하여 회의를 소집하는 다른 프로세스는 이하의 단계를 포함한다:
단계 1: 시스템 내의 MCU는 시스템 내의 모든 단말기의 회의 성능을 기록한다.
단계 2: 코드 스트림을 수신하는 단말기의 성능이 코드 스트림을 송신하는 단말기의 성능과 일치하지 않다는 것을 MCU가 알게 되면, MCU는 코드 스트림을 송신하는 단말기가 전송한 그 코드 스트림을 디코딩하고, 그 코드 스트림을 수신하는 단말기의 성능에 따라 이미지를 인코딩하고, 코드 스트림을 수신하는 단말기에 코드 스트림을 수신하는 단말기에 그 코드 스트림을 전송한다.
이 방법에는 다음과 같은 단점이 있다: 디코딩 및 인코딩이 필요하다. 그러므로 계산이 복잡하게 되어 효율성이 낮아진다.
도 1에 도시된 영상 회의 시스템을 이용하여 회의를 소집하는 제3 프로세스는 이하의 단계를 포함한다:
시스템 내의 MCU는 큰 픽처의 코드 스트림을 수신하고, 이 큰 픽처의 코드 스트림을, 큰 픽처만을 디스플레이하는 단말기에 보낸다. 이러한 픽처를 포함하는 복수의 픽처를 디스플레이해야 하는 단말기에 있어서, 즉 복수의 작은 픽처를 디스플레이해야 하는 단말기에 있어서, MCU는 코드 스트림을 디코딩하고, 이 디코딩으로부터 도출되는 이미지를 서브픽처의 사이즈로 다운스케일링하며, 이 다운스케일된 이미지를 다른 서브픽처들에 결합하여 큰 픽처로 생성한 다음, 이 결합된 큰 픽처를 인코딩하고, 이 결합된 큰 이미지의 코드 스트림을, 이미지를 디스플레이해야 하는 단말기에 송신한다.
이 방법에는 다음과 같은 단점이 있다: 각각의 서브픽처는 디코딩되고 다운스케링되어야 하며, 결합된 큰 픽처는 인코딩되어야 한다. 이에 따라, 계산이 복잡하게 되어 효율성이 떨어진다.
본 발명의 실시예는 시스템 내의 상이한 디스플레이 성능을 가진 단말기들의 디스플레이 요건을 지원하도록 다자간 회의를 제어하기 위한 방법 및 장치를 제공한다.
본 발명에 따른 기술적 솔루션은 다음과 같다:
본 발명의 실시예에서, 다자간 회의 제어 방법이 제공되며, 상기 방법은,
각각의 단말기의 해상도-계층화 코딩 파라미터를 결정하는 단계;
상기 결정된 해상도-계층화 코딩 파라미터를 대응하는 단말기에 송신하는 단계;
각각의 단말기가 송신하는 코드 스트림을 수신하는 단계;
상기 수신한 코드 스트림 중 각각의 단말기의 디스플레이 요건에 따라 각각의 단말기가 디스플레이할 코드 스트림을 선택하는 단계;
상기 선택한 코드 스트림을 상기 대응하는 단말기가 디코딩할 수 있는 코드 스트림으로 트랜스코딩 또는 맵핑하는 단계; 및
상기 디코딩할 수 있는 코드 스트림을 상기 대응하는 단말기에 송신하는 단계
를 포함한다.
본 발명의 실시예에 제공된 다자간 제어 유닛(Multipoint Control Unit: MCU)은,
각각의 단말기의 해상도-계층화 코딩 파라미터를 결정하고, 상기 결정된 해상도-계층화 코딩 파라미터를 대응하는 단말기에 송신하도록 구성된 제1 처리 유닛; 및
수신된 코드 스트림 중에서 각각의 단말기가 디스플레이할 코드 스트림을 선택하고 상기 선택한 코드 스트림을 상기 대응하는 단말기가 디코딩할 수 있는 코드 스트림으로 트랜스코딩하거나 맵핑하는 제2 처리 유닛
을 포함한다.
본 발명의 실시예에 제공된 다자간 회의 시스템은,
각각의 단말기의 해상도-계층화 코딩 파라미터를 결정하고, 상기 결정된 해상도-계층화 코딩 파라미터를 대응하는 단말기에 송신하며; 수신된 코드 스트림 중에서 각각의 단말기가 디스플레이할 코드 스트림을 선택하고, 상기 선택한 코드 스트림을 상기 대응하는 단말기가 디코딩할 수 있는 코드 스트림으로 트랜스코딩 또는 맵핑하며; 상기 디코딩할 수 있는 코드 스트림을 상기 대응하는 단말기에 송신하도록 구성된 다자간 제어 유닛(Multipoint Control Unit); 및
수신된 해상도-계층화 코딩 파라미터에 따라 송신되는 이미지에 대해 해상도-계층화 코딩을 수행하고; 그리고 상기 수신된 코드 스트림을 디코딩하도록 구성된 단말기
를 포함한다.
본 발명에 따른 기술적 솔루션은 해상도-계층화 코딩(resolution-layered coding)을 제어하는데 MCU를 사용한다. 그러므로 계층 프로토콜을 지원하는 단말기 및 계층 프로토콜을 지원하지 않는 단말기가 시스템 내에서 공존할 수 있다. 또한, 계산이 감소되어 시스템 효율성이 향상된다.
도 1은 종래 기술에서의 영상 회의 시스템에 대한 구조도이다.
도 2는 본 발명의 제1 실시예의 프로세스에 대한 흐름도이다.
도 3은 본 발명의 제4 실시예에 대한 구조도이다.
본 발명의 제1 실시예는 코덱 방법이다. 도 2에 도시된 바와 같이, 이 방법은 다음과 같은 단계를 포함한다:
단계 1: 각각의 단말기의 해상도-계층화 코딩 파라미터(resolution-layered coding parameter)가 결정되어 대응하는 단말기에 송신된다. 이러한 단계를 수행하는 실체는 시스템 내의 모든 단말기를 제어하는 MCU일 수 있다.
단계 2: 단말기는 그 수신된 해상도-계층화 코딩 파라미터에 따라 송신될 이미지에 대해 해상도-계층화 코딩을 수행하고, 코드스트림을 송신한다. 코드 스트림은 MCU로 송신될 수 있다.
단계 3: 실체는 각각의 단말기가 전송한 코드 스트림을 수신하고, 각각의 단말기의 디스플레이 요건에 따라, 그 수신된 코드 스트림 중 각각의 단말기에 의해 디코딩될 코드 스트림을 선택하고, 그 선택된 코드 스트림을 단말기에 의해 디코딩될 수 있는 코드 스트림으로 트랜스코딩 또는 맵핑한 다음, 이 디코딩될 수 있는 코드 스트림을 대응하는 단말기에 송신한다. 이러한 단계를 수행하는 실체는 MCU일 수 있다.
단계 4: 단말기는 그 수신된 코드 스트림을 디코딩하여 디스플레이될 수 있는 이미지를 획득한다.
해상도-계층화 코딩 파라미터는, 스케일러블 비디오 코딩(Scalable Video Coding: SVC) 프로토콜에 의해 결정된 해상도-계층화 코딩 파라미터; 또는 H263 프로토콜에 의해 결정된 해상도-계층화 코딩 파라미터를 포함할 수 있다.
본 실시예는 모든 단말기가 동시에 통신하는 통상의 비디오 어플리케이션에 적용될 수 있고, 복수의 단말기의 영상 정보가 하나의 단말기의 화면에 동시에 디스플레이되는 연속적인 프레즌스 비디오 어플리케이션에도 적용될 수 있다. 이하의 상세한 설명에서, 제2 실시예는 통상적인 비디오 어플리케이션에 관한 것이고, 제3 실시예는 연속적인 프레즌스 비디오 어플리케이션에 관한 것이다.
본 발명의 제2 실시예는 이하의 단계를 포함한다:
단계 1: 각각의 단말기의 기초 계층 해상도(elementary-layer resolution)가 결정된다. 이 단계를 수행하는 실체는 시스템 내의 모든 단말기를 제어하는 MCU일 수 있다. 기초 계층 해상도가 프리셋(preset)되어 있는 경우, 프리셋 기초 계층 해상도가 어떤 단말기의 최고 디코딩 해상도보다도 높지 않다는 것을 확인해야 한다. 기초 계층 해상도가 프리셋되어 있지 않은 경우에는, MCU에 의해 결정된 기초 계층 해상도가 시스템 내의 모든 단말기의 그 수신된 디코딩 해상도 중 공통의 최고 해상도일 수 있다.
단계 2: 각각의 단말기의 기초 계층 코딩 표준, 인핸스드 코딩 계층의 수, 인핸스드 계층 해상도, 및 인핸스드 계층 코딩 표준이 그 결정된 기초 계층 해상도, 각각의 단말기의 디스플레이 요건, 및 프리셋 해상도-계층화 코딩 표준에 따라 결정되어, 대응하는 단말기에 송신된다.
해상도가 기초 계층 해상도와 동일한 단말기에 대해, 단말기의 코딩 프로토콜(코딩 표준)이 기초 계층 코딩 프로토콜이고, 코딩 해상도가 기초 계층 해상도인 것으로 결정된다. 이 경우, 단지 이 단말기에만 프리셋 기초 계층 코딩 표준 및 기초 계층 해상도가 송신된다.
해상도가 기초 계층 해상도보다 높고 계층화 코딩을 수행할 수 없는 단말기에 대해, 단말기의 코딩 프로토콜이 기초 계층 코딩 프로토콜이고, 코딩 해상도가 기초 계층 해상도인 것으로 결정된다. 이 경우, 단지 이 단말기에만 프리셋 기초 계층 코딩 표준 및 기초 계층 해상도가 송신된다.
해상도가 기초 계층 해상도보다 높고 계층화 코딩을 수행할 수 있는 단말기에 대해, 단말기의 코딩 프로토콜이 계층화 코딩 프로토콜이고 기초 계층 코딩 해상도가 기초 계층 해상도이며, 인핸스드 계층 파라미터는 다음과 같은 방식으로 결정될 수 있다: 해상도가 공통의 최고 성능보다 높고, 단말기에 의해 지원되는 해상도가 적어도 두 개 있으면, 각각의 해상도는 인핸스드 계층에 대응하고; 및/또는 해상도는 클러스터화되며, 각각의 클러스터화된 해상도는 인핸스드 계층에 대응한다.
기초 계층 코딩 표준은 인핸스드 비디오 코딩(Advanced Video Coding: AVC) 및 H263을 포함하며, 인핸스드 계층 코딩 표준은 SVC 및 H263을 포함한다.
단계 3: 단말기는 그 수신된 기초 계층 해상도, 기초 계층 코딩 표준, 인핸스드 코딩 계층의 수, 인핸스드 계층 해상도, 및 인핸스드 계층 코딩 표준에 따라 해상도-계층화 코딩을 수행하고, 그 코딩된 스트림을 송신한다. 단말기가 기초 계층 코딩 표준 및 기초 계층 해상도만을 수신하면, 이미지는 기초 계층 코딩 표준에 따라 인코딩된다. 단말기가 기초 계층 코딩 표준, 기초 계층 해상도, 인핸스드 코딩 계층의 수, 인핸스드 계층 해상도, 및 인핸스드 계층 코딩 표준을 수신하면, 기초 계층 코딩 표준, 기초 계층 해상도, 인핸스드 코딩 계층의 수, 인핸스드 계층 해상도, 및 인핸스드 계층 코딩 표준에 따라 이미지가 인코딩된다.
단계 4: 각각의 단말기가 송신한 코드 스트림이 수신되어, 각각의 단말기에 의해 디코딩될 코드 스트림이 단말기의 프리셋 디코딩 요건에 따라 결정되며, 각각의 단말기에 의해 디코딩될 코드 스트림은 각각의 단말기의 코드 스트림 디코딩 성능에 따라 각각의 단말기가 디코딩할 수 있는 코드 스트림으로 트랜스코딩된다.
즉, 해상도가 기초 계층 해상도와 동일한 단말기에 대해, 디코딩될 기초 계층 코드 스트림이 선택되며; 해상도가 공통의 최고 성능보다 높고 계층화된 디코딩을 수행할 수 있는 단말기에 대해, 디코딩될 계층화 코드 스트림(기초 계층 코드 스트림 및 인핸스드 계층 코드 스트림)이 선택되거나; 또는 기초 계층 및 인핸스드 계층을 포함하는 계층화 코드 스트림이 기초 계층 코딩 표준의 코드 스트림으로 트랜스코딩되거나 맵핑되며; 해상도가 공통의 최고 성능보다 높고 계층화된 디코딩을 수행할 수 없는 단말기에 대해, 디코딩될 기초 계층 코드 스트림이 선택되거나; 또는 기초 계층 및 인핸스드 계층을 포함하는 계층화된 코드 스트림이 기초 계층 코딩 표준의 코드 스트림으로 트랜스코딩되거나 맵핑된다.
트랜스코딩 및 맵핑은 복잡한 변형 계산을 포함하지 않거나 드리프트 오차(drift error)가 생김이 없이, 완전한 디코딩 후에 인코딩될 수 있으며, 예측 계수의 직접 조정 및 신택스 및 세만틱스의 대응하는 조정일 수 있다. 마지막으로, 획득된 코드 스트림은 각각의 대응하는 단말기에 송신된다.
예를 들어, 시스템 내에 있는 단말기가 단말기 1, 단말기 2, 단말기 3 및 단말기 4이고, MCU는 각각의 단말기가 송신한 코드 스트림을 수신한다. 이 단말기들의 프리셋 이미지 디스플레이 요건은: 단말기 4는 단말기 1이 송신한 이미지를 디스플레이하고, MCU는 단말기 4에 의해 디코딩될 코드 스트림과 같이 단말기 1이 송신한 코드 스트림을 설정하는 것이다. 단말기 4가 AVC 표준(즉, AVC 코드 스트림)에 따라 인코딩되는 코드 스트림만을 디코딩할 수 있는 경우, MCU는 단말기 1이 SVC 코드 스트림을 송신하면 디코딩될 기초 계층 AVC 코드 스트림을 선택하거나; 또는 MCU는 AVC 코드 스트림으로 SVC 코드 스트림을 트랜스코딩하거나 맵핑하고 그 코드 스트림을 송신한다. 단말기 4가 SVC 코드 스트림을 디코딩할 수 있고, 단말기 1이 SVC 코드 스트림을 송신하면, MCU는 SVC 코드 스트림을 직접 송신할 수 있거나; 또는 MCU는 SVC 코드 스트림을 AVC 코드 스트림으로 트랜스코딩하거나 맵핑한 다음 그 코드 스트림을 송신한다.
본 실시예에 제공된 다자간 회의를 제어하는 방법을 사용함으로써, 시스템은 계층화 프로토콜을 지원하는 단말기 및 계층화 프로토콜을 지원하지 않는 단말기 모두를 포함할 수 있고, 계산은 감소되고, 시스템 효율성은 향상된다.
본 실시예에서의 MCU는 영상 회의 시스템에서 단말기상에 설정된 MCU일 수 있거나, 시스템 내의 독립형 MCU일 수 있다.
이하에서는 본 발명의 제2 실시예에 대해 설명하되, 영상 회의 시스템이 단말기 1, 단말기 2, 단말기 3 및 단말기 4를 포함하고, 단말기 1은 MCU를 포함하고, 프리셋 해상도-계층화 코딩 표준은 SVC 표준인 것으로 한다. 단말기 1은 CIF, 4CIF, 및 720P를 디코딩할 수 있으며, 단말기 2에 의해 전송된 이미지를 디스플레이하고 SVC 코드 스트림을 디코딩해야 한다. 단말기 2의 디코딩 해상도는 최저이다. 단말기 2는 CIF 디코딩을 할 수 있고, 단말기 3에 의해 전송된 이미지를 디스플레이하고 AVC 코드 스트림만을 디코딩해야 한다. 단말기 3은 CIF 및 4CIF를 디코딩할 수 있고, 단말기 4에 의해 전송된 이미지를 디스플레이하고 SVC 코드 스트림을 디코딩해야 한다. 단말기 4는 CIF, 4CIF 및 720P를 디코딩할 수 있고, 단말기 1에 의해 전송된 이미지를 디스플레이하고 SVC 코드 스트림을 디코딩해야 한다. 인핸스드 계층 방법을 적용하는 경우, 즉 해상도가 기초 계층 해상도보다 높은 경우, 단말기에 의해 지원되는 해상도가 적어도 두 개 있고, 각각의 해상도가 그 인핸스드 계층에 대응하면, 시스템의 실행 프로세스는 이하의 단계를 포함한다:
단계 1: MCU는 영상 회의 시스템 내의 각각의 단말기가 송신한 디코딩 해상도 성능을 수신하고, 기초 계층 해상도가 단말기 2의 디코딩 해상도인 것으로 결정한다.
단계 2: MCU는 그 결정된 기초 계층 해상도, 각각의 단말기의 디스플레이 요건, 및 프리셋 SVC 해상도-계층화 코딩 표준에 따라 영상 회의 시스템 내의 각각의 단말기의 코딩 모드를 결정하고, 각각의 단말기의 코딩 모드를 대응하는 단말기에 송신한다. 단말기 1, 단말기 3 및 단말기 4에 있어서, 기초 계층은 코딩을 위해 AVC 표준을 사용하고, 코딩 해상도는 기초 계층 해상도이다. 인핸스드 계층은 코딩을 위해 SVC 표준을 사용하고, 인핸스드 코딩 계층의 수는 이러한 기준에 따라 결정된다: 해상도는 기초 계층 해상도보다 높고, 단말기에 의해 지원되는 해상도가 적어도 두 개 있으며, 각각의 해상도는 인핸스드 계층에 대응한다. 그러므로 인핸스드 코딩 계층의 수는 2이며, 인핸스드 계층 1의 해상도는 4CIF이며, 인핸스드 계층 2의 해상도는 720P이다. 단말기 2의 경우, 기초 계층은 코딩을 위해 AVC를 사용하고, 코딩 해상도는 기초 계층 해상도(즉, CIF)이며, 인핸스드 계층은 없다. 단말기 3의 경우, 기초 계층은 코딩을 위해 AVC 표준을 사용하고, 코딩 해상도는 기초 계층 해상도(즉, CIF)이며, 인핸스드 계층이 하나 있으며, 인핸스드 계층 1의 해상도는 4CIF이다. 단말기 1의 경우, 기초 계층은 코딩을 위해 AVC 표준을 사용하고, 코딩 해상도는 기초 계층 해상도(즉, CIF)이며, 인핸스드 계층이 두 개 있으며, 인핸스드 계층 1의 해상도는 4CIF이고, 인핸스드 계층 2의 해상도는 720P이다.
단계 3: 각각의 단말기는 그 수신된 코딩 모드에 따라 이미지를 인코딩하고, 그 코딩된 스트림을 MCU에 송신한다. 즉, 단말기 1, 단말기 3, 및 단말기 4는 SVC 코드 스트림을 송신하고, 단말기 2는 AVC 코드 스트림을 송신한다.
단계 4: 각각의 단말기가 전송한 코드 스트림을 수신한 후, MCU는 단말기의 디코딩 성능에 따라 코드 스트림을 선택하고, 그 선택한 코드 스트림을 트랜스코딩한 후 트랜스코딩된 코드 스트림을 송신한다. 즉, 단말기 2가 전송한 코드 스트림(AVC 코드 스트림)은 단말기 1에 직접 송신되고; 단말기 3이 전송한 코드 스트림(SVC 코드 스트림) 중에서, 기초 계층 AVC 코드 스트림이 선택되어 단말기 2에 송신되며; 단말기 4가 전송한 코드 스트림(SVC 코드 스트림) 중에서, 기초 계층의 코드 스트림 및 인핸스드 계층 1의 코드스트림이 선택되어 단말기 3에 송신되며; 단말기 1이 전송한 코드 스트림(SVC 코드 스트림) 중에서, 기초 계층의 코드 스트림, 인핸스드 계층 1의 코드 스트림 및 인핸스드 계층 2의 코드 스트림이 선택되어 단말기 4에 송신된다.
단계 5: 각각의 단말기는 수신된 코드 스트림을 디코딩한다.
클러스터화된 해상도를 이용하는 인핸스드 계층 방법을 적용하는 경우, 시스템의 실행 프로세스는 이하의 단계를 포함한다:
단계 1: MCU는 영상 회의 시스템 내의 각각의 단말기가 송신한 디코딩 해상도 성능을 수신하고, 기초 계층 해상도가 단말기 2의 디코딩 해상도인 것으로 결정한다.
단계 2: MCU는 그 결정된 기초 계층 해상도, 각각의 단말기의 디스플레이 요건, 및 프리셋 SVC 해상도-계층화 코딩 표준에 따라 영상 회의 시스템 내의 각각의 단말기의 코딩 모드를 결정하고, 각각의 단말기의 코딩 모드를 대응하는 단말기에 송신한다. 단말기 1, 단말기 3 및 단말기 4에 있어서, 기초 계층은 코딩을 위해 AVC 표준을 사용하고, 코딩 해상도는 기초 계층 해상도이다. 인핸스드 계층은 코딩을 위해 SVC 표준을 사용하고, 인핸스드 코딩 계층의 수는 이러한 기준에 따라 결정된다: 해상도는 기초 계층 해상도보다 높고, 단말기에 의해 지원되는 해상도가 적어도 두 개 있다. 그러므로 인핸스드 코딩 계층의 수는 1이며, 인핸스드 계층 1의 해상도는 4CIF이다. 단말기 2의 경우, 기초 계층은 코딩을 위해 AVC를 사용하고, 코딩 해상도는 기초 계층 해상도(즉, CIF)이며, 인핸스드 계층은 없다.
단계 3: 각각의 단말기는 수신된 코딩 모드에 따라 이미지를 인코딩하고, 코딩된 스트림을 MCU에 송신한다. 즉, 단말기 1, 단말기 3, 및 단말기 4는 SVC 코드 스트림을 송신하고, 단말기 2는 AVC 코드 스트림을 송신한다.
단계 4: 각각의 단말기가 전송한 코드 스트림을 수신한 후, MCU는 단말기의 디코딩 성능에 따라 코드 스트림을 선택하고, 그 선택한 코드 스트림을 트랜스코딩한 후 트랜스코딩된 코드 스트림을 송신한다. 즉, 단말기 2가 전송한 코드 스트림(AVC 코드 스트림)은 단말기 1에 직접 송신되고; 단말기 3이 전송한 코드 스트림(SVC 코드 스트림) 중에서, 기초 계층 AVC 코드 스트림이 선택되어 단말기 2에 송신되며; 단말기 4가 전송한 코드 스트림(SVC 코드 스트림) 중에서, 기초 계층의 코드 스트림 및 인핸스드 계층 1의 코드스트림이 선택되어 단말기 3에 송신된다.
단계 5: 각각의 단말기는 수신된 코드 스트림을 디코딩한다.
본 발명의 제3 실시예는 이하의 단계를 포함한다:
단계 1: 각각의 단말기가 송신한 해상도 성능 정보를 수신한다. 서브픽처 해상도(subpicture resolution) 및 콤보 픽처 해상도(combo picture resolution)를 각각의 단말기의 해상도 성능 및 디스플레이 요건에 따라 결정한다. 해상도를 결정하는 실체는 시스템 내의 MCU일 수 있다.
단계 2: 각각의 단말기의 기초 계층 코딩 표준, 인핸스드 코딩 계층의 수, 및 인핸스드 계층 코딩 표준을 그 결정된 서브픽처 해상도, 콤보 픽처 해상도, 및 프리셋 해상도-계층화 코딩 표준에 따라 결정하고, 대응하는 단말기에 송신한다.
해상도가 서브픽처 해상도와 동일한 단말기에 있어서, 단말기의 코딩 프로토콜은 기초 계층 코딩 프로토콜이고, 코딩 해상도는 서브픽처 해상도인 것으로 결정된다.
해상도가 서브픽처 해상도보다 높고 계층화 코딩을 수행할 수 없는 단말기에 대해, 단말기의 코딩 프로토콜이 기초 계층 코딩 프로토콜이고, 코딩 해상도는 서브픽처 해상도인 것으로 결정된다.
해상도가 서브픽처 해상도보다 높고 계층화 코딩을 수행할 수 있는 단말기에 대해, 단말기의 코딩 프로토콜이 계층화 코딩 프로토콜이고, 기초 계층 코딩 해상도는 서브픽처 해상도이고, 인핸스드 계층 코딩 해상도는 콤보 픽처 해상도인 것으로 결정된다.
단계 3: 단말기는 그 수신된 기초 계층 해상도, 기초 계층 코딩 표준, 인핸스드 코딩 계층의 수, 인핸스드 계층 해상도, 및 인핸스드 계층 코딩 표준에 따라 해상도-계층화 코딩을 수행하고, 그 코딩된 스트림을 송신한다. 단말기가 기초 계층 코딩 표준 및 기초 계층 해상도만을 수신하면, 이미지는 기초 계층 코딩 표준에 따라 인코딩된다. 단말기가 기초 계층 코딩 표준, 기초 계층 해상도, 인핸스드 코딩 계층의 수, 인핸스드 계층 해상도, 및 인핸스드 계층 코딩 표준을 수신하면, 기초 계층 코딩 표준, 기초 계층 해상도, 인핸스드 코딩 계층의 수, 인핸스드 계층 해상도, 및 인핸스드 계층 코딩 표준에 따라 이미지가 인코딩된다.
단계 4: 각각의 단말기가 송신한 코드 스트림을 수신한다. 복수의 작은 픽처를 디스플레이해야 하는 단말기에 있어서, 디코딩 및 디스플레이를 위해 선택된 코드 스트림(들)을 기초 계층 코드 스트림에 직접 결합하고; 및/또는 디코딩을 위해 선택된 코드 스트림(들)이 디코딩되며, 디코딩된 픽처를 큰 픽처에 결합한다. 그후, 큰 픽처를 인코딩하여 기초 계층 코드 스트림을 획득한다.
디코딩 성능에 의존하여, 큰 픽처를 디스플레이해야 하는 단말기는 두 가지 모드로 작동한다: 계층화 디코딩을 수행할 수 있는 단말기에 대해, 디코딩될 서브픽처 코드 스트림 및 디코딩될 인핸스드 계층 코드 스트림이 선택되거나; 또는 서브픽처 코드 스트림 및 인핸스드 계층 코드 스트림을 포함하는 계층화 코드 스트림이 기초 계층 코딩 표준의 코드 스트림으로 트랜스코딩되거나 맵핑된다.
계층화 디코딩을 수행할 수 없는 단말기에 대해, 서브픽처 코드 스트림 및 인핸스드 계층 코드 스트림을 포함하는 계층화 코드 스트림이 기초 계층 코딩 표준의 코드 스트림으로 트랜스코딩되거나 맵핑된다.
예를 들어, 본 발명의 제3 실시예에서는, 멀티픽처 영상 회의에 단말기 1, 단말기 2, 단말기 3 및 단말기 4, 및 MCU가 포함되고, 프리셋 코딩 표준은 SVC이다. 단말기 1은 CIF, 4CIF, 및 720P를 디코딩할 수 있고, 단말기 2가 송신한 이미지를 디스플레이하고 SVC 코드 스트림을 디코딩해야 한다. 단말기 2의 디코딩 해상도가 최저이다. 단말기 2는 CIF를 디코딩할 수 있고, 단말기 3이 전송한 이미지를 디스플레이하고 AVC 코드 스트림만을 디코딩해야 한다. 단말기 3은 CIF 및 4CIF를 디코딩할 수 있고, 단말기 1, 단말기 2, 단말기 4가 전송한 이미지를 디스플레이하고 SVC 코드 스트림만을 디코딩해야 한다. 단말기 4는 CIF, 4CIF, 및 720P를 디코딩할 수 있다. 인핸스드 계층 방법을 적용하는 경우, 즉, 해상도가 기초 계층 해상도보다 높고, 단말기가 지원하는 해상도가 적어도 두 개 있고, 각각의 해상도가 인핸스드 계층에 대응할 때, 시스템의 실행 프로세스는 이하의 단계를 포함한다:
단계 1: MCU는 영상 회의 시스템 내의 각각의 단말기가 송신한 디코딩 해상도 성능을 수신하고, 서브픽처 해상도가 CIF이고 콤보 픽처 해상도가 4CIF인 것으로 결정한다.
단계 2: 각각의 단말기의 계층화 파라미터가 결정되고, 각각의 단말기의 코딩 모드가 대응하는 단말기에 송신된다. 단말기 1, 단말기 3 및 단말기 4에 있어서, 기초 계층은 코딩을 위해 AVC 표준을 사용하고, 코딩 해상도는 서브픽처 해상도 "CIF"이다. 인핸스드 계층은 코딩을 위해 SVC 표준을 사용하고, 인핸스드 코딩 계층의 수는 이러한 기준에 따라 결정된다: 해상도는 기초 계층 해상도보다 높고, 단말기에 의해 지원되는 해상도가 적어도 두 개 있으며, 각각의 해상도는 인핸스드 계층에 대응한다. 그러므로 인핸스드 코딩 계층의 수는 2이며, 인핸스드 계층 1의 해상도는 4CIF이며, 인핸스드 계층 2의 해상도는 720P이다. 단말기 2의 경우, 기초 계층은 코딩을 위해 AVC를 사용하고, 코딩 해상도는 서브픽처 해상도(즉, CIF)이며, 인핸스드 계층은 없다.
단계 3: 각각의 단말기는 그 수신된 코딩 모드에 따라 이미지를 인코딩하고, 그 코딩된 스트림을 MCU에 송신한다. 즉, 단말기 1, 단말기 3, 및 단말기 4는 SVC 코드 스트림을 송신하고, 단말기 2는 AVC 코드 스트림을 송신한다.
단계 4: 각각의 단말기가 전송한 코드 스트림을 수신한 후, MCU는 단말기의 디코딩 성능 및 디스플레이 요건에 따라 코드 스트림을 트랜스코딩하고, 그 트랜스코딩한 코드 스트림을 송신한다. 즉, 단말기 1 및 단말기 2는 작은 픽처를 디스플레이할 필요가 없기 때문에, 단말기 1 및 단말기 2에 향해진 코드 스트림의 프로세싱은 제2 실시예에서의 프로세싱과 동일하고, 즉 단말기 2가 전송한 코드 스트림(AVC 코드 스트림)은 단말기 1에 직접 송신되고; 단말기 3이 전송한 코드 스트림(SVC 코드 스트림) 중에서, 기초 계층 AVC 코드 스트림이 선택되어 단말기 2에 송신된다.
단말기 3은 콤보 픽처를 디스플레이해야 하기 때문에, MCU는 단말기 1이 전송한 기초 계층 AVC 코드 스트림, 단말기 2가 전송한 AVC 코드 스트림, 큰 픽처의 기초 계층 AVC 코드 스트림을 만들어내기 위해 직접 단말기 4가 전송한 기초 계층 AVC 코드 스트림을 선택할 수 있고, 그것을 단말기 3에 송신한다.
단계 5: 멀티픽처 영상 회의 시스템 내의 각각의 단말기는 그 수신된 코드 스트림을 디코딩한다. 콤보 픽처를 디스플레이해야 하는 단말기 3에 있어서, 콤보 픽처의 수신된 기초 계층 코드 스트림이 디코딩된다.
클러스터화된 해상도를 이용하는 인핸스드 계층 방법을 적용하는 경우, 시스템의 실행 프로세스는 이하의 단계를 포함한다:
단계 1: MCU는 영상 회의 시스템 내의 각각의 단말기가 송신한 디코딩 해상도 성능을 수신하고, 서브픽처 해상도가 CIF이고 콤보 픽처 해상도가 4CIF인 것으로 결정한다.
단계 2: 각각의 단말기의 계층화 파라미터가 결정되고, 각각의 단말기의 코딩 모드가 대응하는 단말기에 송신된다. 단말기 1, 단말기 3 및 단말기 4에 있어서, 기초 계층은 코딩을 위해 AVC 표준을 사용하고, 코딩 해상도는 서브픽처 해상도 "CIF"이다. 인핸스드 계층은 코딩을 위해 SVC 표준을 사용하고, 인핸스드 코딩 계층의 수는 이러한 기준에 따라 결정된다: 해상도는 공통의 최고 성능보다 높고, 단말기에 의해 지원되는 해상도가 적어도 두 개 있다. 그러므로 인핸스드 코딩 계층의 수는 2이며, 인핸스드 계층 1의 해상도는 4CIF이다. 단말기 2의 경우, 기초 계층은 코딩을 위해 AVC를 사용하고, 코딩 해상도는 서브픽처 해상도(즉, CIF)이며, 인핸스드 계층은 없다.
단계 3: 각각의 단말기는 그 수신된 코딩 모드에 따라 이미지를 인코딩하고, 그 코딩된 스트림을 MCU에 송신한다. 즉, 단말기 1, 단말기 3, 및 단말기 4는 SVC 코드 스트림을 송신하고, 단말기 2는 AVC 코드 스트림을 송신한다.
단계 4: 각각의 단말기가 전송한 코드 스트림을 수신한 후, MCU는 단말기의 디코딩 성능 및 디스플레이 요건에 따라 코드 스트림을 트랜스코딩하고, 그 트랜스코딩한 코드 스트림을 송신한다. 즉, 단말기 1 및 단말기 2는 작은 픽처를 디스플레이할 필요가 없기 때문에, 단말기 1 및 단말기 2에 향해진 코드 스트림의 프로세싱은 제2 실시예에서의 프로세싱과 동일하고, 즉 단말기 2가 전송한 코드 스트림(AVC 코드 스트림)은 단말기 1에 직접 송신되고; 단말기 3이 전송한 코드 스트림(SVC 코드 스트림) 중에서, 기초 계층 AVC 코드 스트림이 선택되어 단말기 2에 송신된다.
단말기 3은 콤보 픽처를 디스플레이해야 하기 때문에, MCU는 단말기 1이 전송한 기초 계층 AVC 코드 스트림, 단말기 2가 전송한 AVC 코드 스트림, 단말기 4가 전송한 기초 계층 AVC 코드 스트림을 선택할 수 있다. MCU는 그 디코딩된 스트림을 큰 픽처에 결합하고, 그 큰 픽처를 인코딩하여 기초 계층 AVC 코드 스트림을 획득한 후, 그것을 단말기 3에 송신한다.
단계 5: 멀티픽처 영상 회의 시스템 내의 각각의 단말기는 그 수신된 코드 스트림을 디코딩한다. 콤보 픽처를 디스플레이해야 하는 단말기 3에 있어서, 콤보 픽처의 수신된 기초 계층 코드 스트림이 디코딩된다.
본 실시예에 제공된 다자간 회의를 제어하는 방법을 사용함으로써, 시스템은 계층화 프로토콜을 지원하는 단말기 및 계층화 프로토콜을 지원하지 않는 단말기 모두를 포함할 수 있고, 계산은 감소되고, 시스템 효율성은 향상된다.
본 발명의 제4 실시예는 다자간 영상 회의 시스템이다. 도 3에 도시된 바와 같이, 시스템은 MCU 및 단말기 내에 설정된 코덱을 포함한다. MCU는,
각각의 단말기의 해상도-계층화 코딩 파라미터를 결정하고, 결정된 파라미터를 각각의 단말기의 제1 처리 유닛에 직접 송신하고;
수신된 코드 스트림 중에서 각각의 단말기가 디스플레이할 코드 스트림을 선택하고 이 선택한 코드 스트림을 단말기가 디코딩할 수 있는 코드 스트림으로 트랜스코딩하거나 맵핑하며; 그리고
각각의 단말기가 디코딩할 수 있는 코드 스트림을 각각의 단말기의 제2 처리 유닛에 각각 송신하도록 구성되어 있다.
제1 처리 유닛은 정보 수신 유닛, 파라미터 결정 유닛, 및 파라미터 송신 유닛을 포함한다.
정보 수신 유닛은 각각의 단말기의 디스플레이 요건 및 해상도 성능 정보를 수신하도록 구성되어 있다.
파라미터 결정 유닛은 제1 파라미터 결정 유닛 및/또는 제2 파라미터 결정 유닛을 포함한다.
제1 파라미터 결정 유닛은 통상적인 영상 회의 어플리케이션에 적용되며, 정보 수신 유닛이 수신한 각각의 단말기의 디스플레이 요건 및 해상도 성능 정보에 따라 모든 단말기의 디코딩 해상도 중 공통의 최고 해상도를 기초 계층 해상도로서 결정하고, 각각의 단말기의 해상도-계층화 코딩 파라미터를 결정하도록 구성되어 있다. 해상도-계층화 코딩 파라미터는 다음과 같은 방식으로 결정될 수 있다: 해상도가 공통의 최고 성능과 동일한 단말기에 대해, 단말기의 코딩 프로토콜이 기초 계층 코딩 프토토콜이고 코딩 해상도가 기초 계층 해상도인 것으로 결정된다. 해상도가 공통의 최고 성능보다 높고 계층화 코딩을 수행할 수 없는 단말기에 대해, 단말기의 코딩 프로토콜이 기초 계층 코딩 프토토콜이고 코딩 해상도가 기초 계층 해상도인 것으로 결정된다. 해상도가 공통의 최고 성능보다 높고 계층화 코딩을 수행할 수 있는 단말기에 대해, 단말기의 코딩 프로토콜이 계층화 코딩 프토토콜이고, 기초 계층 코딩 해상도가 기초 계층 해상도인 것으로 결정되고, 인핸스드 계층 파라미터가 결정된다. 인핸스드 계층 파라미터는 다음과 같은 기준에 따라 결정될 수 있다: 해상도가 기초 계층 해상도보다 높고, 단말기에 의해 지원되는 해상도가 적어도 두 개 있으며, 각각의 해상도는 인핸스드 계층에 대응하고; 및/또는 해상도는 클러스터화되며, 각각의 클러스터화된 해상도는 인핸스드 계층에 대응한다.
제2 파라미터 결정 유닛은 멀티픽처 영상 회의 시스템에 적용되며, 각각의 단말기의 디스플레이 요건 및 해상도 성능 정보에 따라 서브픽처 해상도 및 콤보 픽처 해상도를 결정하고, 각각의 단말기의 해상도-계층화 코딩 파라미터를 결정하도록 구성되어 있다. 해상도-계층화 코딩 파라미터는 다음과 같은 방식으로 결정될 수 있다: 멀티픽처 영상 회의 시스템에서, 해상도가 서브픽처 해상도와 동일한 단말기에 있어서, 단말기의 코딩 프로토콜이 기초 계층 코딩 프토토콜이고 코딩 해상도가 서브픽처 해상도인 것으로 결정된다. 해상도가 서브픽처 해상도보다 높고 계층화 코딩을 수행할 수 없는 단말기에 대해, 단말기의 코딩 프로토콜이 기초 계층 코딩 프토토콜이고 코딩 해상도가 서브픽처 해상도인 것으로 결정되며; 해상도가 서브픽처 해상도보다 높고 계층화 코딩을 수행할 수 있는 단말기에 대해, 단말기의 코딩 프로토콜이 계층화 코딩 프토토콜이고, 기초 계층 코딩 해상도가 서브픽처 해상도인 것으로 결정되고, 인핸스드 계층 파라미터가 결정된다. 인핸스드 계층 파라미터는 다음과 같은 기준에 따라 결정될 수 있다: 해상도가 기초 계층 해상도보다 높고, 단말기에 의해 지원되는 해상도가 적어도 두 개 있으며, 각각의 해상도는 인핸스드 계층에 대응하며; 및/또는 해상도는 클러스터화되며, 각각의 클러스터화된 해상도는 인핸스드 계층에 대응한다.
파라미터 송신 유닛은 파라미터 결정 유닛에 의해 결정된 각각의 단말기의 해상도-계층화 코딩 파라미터를 파라미터의 대응하는 단말기에 송신하도록 구성되어 있다.
제2 처리 유닛은, 코드 스트림 수신 유닛, 코드 스트림 선택 유닛, 코드 스트림 트랜스코딩 또는 맵핑 유닛, 및 코드 스트림 송신 유닛을 포함한다.
코드 스트림 수신 유닛은 각각의 단말기가 송신한 코드 스트림을 수신하도록 구성되어 있다.
코드 스트림 선택 유닛은 수신된 코드 스트림 중에서 각각의 단말기가 디스플레이할 코드 스트림을 선택하도록 구성되어 있다.
코드 스트림 트랜스코딩 또는 맵핑 유닛은 코드 스트림 선택 유닛이 선택한 코드 스트림을 각각의 단말기가 디코딩할 수 있는 코드 스트림으로 트랜스코딩 또는 맵핑하도록 구성되어 있다. 코드 스트림 트랜스코딩 또는 맵핑 유닛은 제1 트랜스코딩 또는 맵핑 유닛, 및/또는 제2 트랜스코딩 또는 맵핑 유닛, 및/또는 제3 트랜스코딩 또는 맵핑 유닛을 포함한다.
제1 트랜스코딩 또는 맵핑 유닛은 통상적인 영상 회의 시나리오에서 적용되며,
해상도가 기초 계층 해상도와 동일한 단말기의 경우, 디코딩될 기초 계층 코드 스트림을 선택하고,
해상도가 기초 계층 해상도보다 높고 계층화 디코딩을 수행할 수 있는 단말기의 경우, 디코딩될 기초 계층 코드 스트림 및 디코딩될 인핸스드 계층 코드 스트림을 선택하거나; 또는 기초 계층 및 인핸스드 계층을 포함하는 계층화 코드 스트림을 기초 계층 코딩 표준의 코드 스트림으로 트랜스코딩 또는 맵핑하며; 그리고
해상도가 기초 계층 해상도보다 높고 계층화 디코딩을 수행할 수 없는 단말기의 경우, 디코딩될 기초 계층 코드 스트림을 선택하거나; 또는 기초 계층 및 인핸스드 계층을 포함하는 계층화 코드 스트림을 기초 계층 코딩 표준의 코드 스트림으로 트랜스코딩 또는 맵핑하도록 구성되어 있다.
제2 트랜스코딩 또는 맵핑 유닛은 통상적인 영상 회의 시나리오에서 적용되며, 디코딩을 위해 선택된 코드 스트림(들)을 기초 계층 코드 스트림에 직접 결합하고; 및/또는 그 선택된 코드 스트림(들)을 디코딩하고, 디코딩된 픽처를 큰 픽처에 결합하고, 큰 픽처를 인코딩하여 기초 계층 코드 스트림을 획득한다.
제3 트랜스코딩 또는 맵핑 유닛은 통상적인 영상 회의 시나리오에서 적용되며, 계층화 디코딩을 수행할 수 있는 단말기에 있어서 디코딩될 서브픽처 코드 스트림(들) 및 디코딩될 인핸스드 계층 코드 스트림을 선택하거나; 또는 서브픽처 코드 스트림 및 인핸스드 계층 코드 스트림을 포함하는 계층화 코드 스트림을 기초 계층 코딩 표준의 코드 스트림으로 트랜스코딩 또는 맵핑하고; 그리고 계층화 디코딩을 수행할 수 없는 단말기에 있어서 서브픽처 코드 스트림 및 인핸스드 계층 코드 스트림을 포함하는 계층화 코드 스트림을 기초 계층 코딩 표준의 코드 스트림으로 트랜스코딩 또는 맵핑하도록 구성되어 있다.
코드 스트림 송신 유닛은 트랜스코딩 또는 맵핑된 코드 스트림을 대응하는 단말기에 송신하도록 구성되어 있다.
코덱 장치는,
해상도-계층화 코딩 파라미터를 수신하도록 구성된 파라미터 수신 유닛;
파라미터 수신 유닛이 수신한 해상도-계층화 코딩 파라미터에 따라 송신될 이미지에 대해 해상도-계층화 코딩을 수행하고, 코딩된 스트림을 송신하도록 구성된 코딩 유닛; 및
수신된 코드 스트림을 디코딩하도록 구성된 디코딩 유닛
을 포함한다.
본 실시예에 제공된 다자간 회의 시스템은 계층화 프로토콜을 지원하는 단말기 및 계층화 프로토콜을 지원하지 않는 단말기 모두를 포함할 수 있고, 따라서 계산은 감소되고, 시스템 효율성은 향상된다.
위의 실시예들에 대한 상세한 설명을 통해, 당업자는 본 발명이 하드웨어만을 사용하여 또는 소프트웨어 및 필요한 범용의 하드웨어 플랫폼을 사용하여 실행될 수 있다는 것을 이해할 수 있을 것이다. 이러한 이해에 기초하여, 본 발명의 기술적 솔루션은 소프트웨어 제품의 형태로 구현될 수도 있다. 소프트웨어 제품은 비휘발성 저장 매체에 저장될 수 있으며, 이러한 비휘발성 저장 매체로는, 컴팩트 디스크 리드-온리 메모리(CD-ROM), 범용의 시리얼 버스(USB) 플래시 메모리, 또는 탈착 가능형 하드 드라이브가 있다. 소프트웨어 제품은 컴퓨터 장치(퍼스널 컴퓨터, 서버, 또는 네트워크 장치)가 본 발명의 실시예에 제공된 방법들을 실행할 수 있게 하는 일련의 명령어를 포함한다.
결론적으로, 전술한 바는 본 발명의 바람직한 실시예에 지나지 않는다. 그렇지만, 본 발명의 범주는 이에 제한되지 않는다. 본 발명의 기술적 범주 내에서의 당업자에 자명한 변경 및 대체는 본 발명의 범주 내에 해당되어야 한다. 그러므로 본 발명의 보호 범주는 첨부된 청구의 범위에 해당한다.

Claims (15)

  1. 다자간 회의 제어 방법에 있어서,
    각각의 단말기의 해상도-계층화 코딩 파라미터(resolution-layered coding parameter)를 결정하는 단계;
    상기 결정된 해상도-계층화 코딩 파라미터를 대응하는 단말기에 송신하는 단계;
    각각의 단말기가 송신하는 코드 스트림을 수신하는 단계;
    상기 수신한 코드 스트림 중 각각의 단말기의 디스플레이 요건에 따라 각각의 단말기가 디스플레이할 코드 스트림을 선택하는 단계;
    상기 선택한 코드 스트림을 상기 대응하는 단말기가 디코딩할 수 있는 코드 스트림으로 트랜스코딩 또는 맵핑하는 단계; 및
    상기 디코딩할 수 있는 코드 스트림을 상기 대응하는 단말기에 송신하는 단계
    를 포함하는 다자간 회의 제어 방법.
  2. 제1항에 있어서,
    상기 각각의 단말기의 해상도-계층화 코딩 파라미터를 결정하는 단계는,
    각각의 단말기의 기초 계층 해상도(elementary-layer resolution)를 결정하는 단계; 및
    상기 결정된 기초 계층 해상도에 따라 각각의 단말기의 상기 해상도-계층화 코딩 파라미터를 결정하는 단계
    를 포함하는, 다자간 회의 제어 방법.
  3. 제2항에 있어서,
    상기 각각의 단말기의 해상도-계층화 코딩 파라미터를 결정하는 단계가,
    각각의 단말기가 송신한 단말기의 해상도 성능 정보를 수신하는 단계; 및
    모든 단말기의 디코딩 해상도 중 공통의 최고 해상도가, 상기 수신된 각각의 단말기의 해상도 성능 정보에 따른 기초 계층 해상도인 것으로 결정하는 단계
    를 포함하거나, 또는
    상기 각각의 단말기의 상기 해상도-계층화 코딩 파라미터를 결정하는 단계가,
    모든 단말기의 최고 디코딩 해상도보다 높지 않은 기초-계층 해상도를 프리셋팅하는 단계
    를 포함하는, 다자간 회의 제어 방법.
  4. 제2항에 있어서,
    상기 결정된 기초 계층 해상도에 따라 각각의 단말기의 상기 해상도-계층화 코딩 파라미터를 결정하는 단계는,
    해상도가 기초 계층 해상도와 동일한 단말기에 대해, 단말기의 코딩 프로토콜이 기초 계층 코딩 프로토콜이고, 코딩 해상도가 상기 기초 계층 해상도인 것으로 결정하는 단계; 또는
    해상도가 상기 기초 계층 해상도보다 높고 계층화 코딩을 수행할 수 없는 단말기에 대해, 단말기의 코딩 프로토콜이 기초 계층 코딩 프로토콜이고, 코딩 해상도가 기초 계층 해상도인 것으로 결정하는 단계; 또는
    해상도가 기초 계층 해상도보다 높고 계층화 코딩을 수행할 수 있는 단말기에 대해, 단말기의 코딩 프로토콜이 계층화 코딩 프로토콜이고 기초 계층 코딩 해상도가 기초 계층 해상도인 것으로 결정하고, 인핸스드 계층 파라미터를 결정하는 단계
    를 포함하는, 다자간 회의 제어 방법.
  5. 제2항 내지 제3항 중 어느 한 항에 있어서,
    상기 선택한 코드 스트림을 상기 대응하는 단말기가 디코딩할 수 있는 코드 스트림으로 트랜스코딩 또는 맵핑하는 단계는,
    해상도가 기초 계층 해상도와 동일한 단말기에 대해, 디코딩될 기초 계층 코드 스트림을 선택하는 단계; 또는
    해상도가 기초 계층 해상도보다 높고 계층화된 디코딩을 수행할 수 있는 단말기에 대해, 디코딩될 기초 계층 코드 스트림 및 디코딩될 인핸스드 계층 코드 스트림을 선택하거나, 또는 기초 계층 및 인핸스드 계층을 포함하는 계층화 코드 스트림을 기초 계층 코딩 표준의 코드 스트림으로 트랜스코딩하거나 맵핑하는 단계; 또는
    해상도가 기초 계층 해상도보다 높고 계층화된 디코딩을 수행할 수 없는 단말기에 대해, 디코딩될 기초 계층 코드 스트림을 선택하거나; 또는 기초 계층 및 인핸스드 계층을 포함하는 상기 계층화된 코드 스트림을 기초 계층 코딩 표준의 코드 스트림으로 트랜스코딩하거나 맵핑하는 단계
    포함하는, 다자간 회의 제어 방법.
  6. 제1항에 있어서,
    각각의 단말기의 해상도-계층화 코딩 파라미터를 결정하는 단계는,
    각각의 단말기가 송신한 상기 해상도 성능 정보를 수신하는 단계;
    상기 해상도 성능 정보 및 디스플레이 요건에 따라 서브픽처 해상도 및 콤보 픽처 해상도를 결정하는 단계; 및
    상기 서브픽처 해상도 및 상기 콤보 픽처 해상도에 따라 각각의 단말기의 상기 해상도-계층화 코딩 파라미터를 결정하는 단계
    를 포함하는, 다자간 회의 제어 방법.
  7. 제6항에 있어서,
    상기 해상도 성능 정보 및 디스플레이 요건에 따라 서브픽처 해상도 및 콤보 픽처 해상도를 결정하는 단계는,
    해상도가 서브픽처 해상도와 동일한 단말기에 대해, 단말기의 코딩 프로토콜이 기초 계층 코딩 프로토콜이고, 코딩 해상도가 서브픽처 해상도인 것으로 결정하는 단계; 또는
    해상도가 서브픽처 해상도보다 높고 계층화 코딩을 수행할 수 없는 단말기에 대해, 단말기의 코딩 프로토콜이 기초 계층 코딩 프로토콜이고, 코딩 해상도가 서브픽처 해상도인 것으로 결정하는 단계; 또는
    해상도가 서브픽처 해상도보다 높고 계층화 코딩을 수행할 수 있는 단말기에 대해, 단말기의 코딩 프로토콜이 계층화 코딩 프로토콜이고, 기초 계층 코딩 해상도가 서브픽처 해상도이고, 인핸스드 계층 코딩 해상도가 콤보 픽처 해상도인 것으로 결정하는 단계
    를 포함하는, 다자간 회의 제어 방법.
  8. 제4항에 있어서,
    상기 인핸스드 계층 파라미터를 결정하는 단계는,
    상기 인핸스드 계층 파라미터를, 해상도가 기초 계층 해상도보다 높고, 적어도 두 개의 단말기에 의해 지원되며, 각각의 해상도가 인핸스드 계층에 대응한다고 하는 기준에 따라 결정하는 단계; 또는
    상기 인핸스드 계층 파라미터를, 해상도가 기초 계층 해상도보다 높고, 적어도 두 개의 단말기에 의해 지원된다는 기준에 따라 결정하고, 상기 해상도를 클러스화하는 단계
    를 포함하고, 각각의 클러스터화된 해상도는 인핸스드 계층에 대응하는,
    다자간 회의 제어 방법.
  9. 제1항 또는 제6항에 있어서,
    상기 선택한 코드 스트림을 상기 대응하는 단말기가 디코딩할 수 있는 코드 스트림으로 트랜스코딩 또는 맵핑하는 단계는,
    디코딩될 하나 이상의 선택한 코드 스트림을 기초 계층 코드 스트림에 결합하는 단계; 또는
    상기 디코딩될 하나 이상의 선택한 코드 스트림을 디코딩하고, 디코딩된 픽처를 큰 픽처에 결합하며, 상기 큰 픽처를 인코딩하여 기초 계층 코드 스트림을 획득하는 단계
    를 포함하는, 다자간 회의 제어 방법.
  10. 제1항 또는 제6항에 있어서,
    상기 선택한 코드 스트림을 상기 대응하는 단말기가 디코딩할 수 있는 코드 스트림으로 트랜스코딩 또는 맵핑하는 단계는,
    계층화 디코딩을 수행할 수 있는 단말기에 대해, 디코딩될 서브픽처 코드 스트림 및 디코딩될 인핸스드 계층 코드 스트림을 선택하거나; 또는 상기 서브픽처 코드 스트림 및 상기 인핸스드 계층 코드 스트림을 포함하는 계층화 코드 스트림을 기초 계층 코딩 표준의 코드 스트림으로 트랜스코딩하거나 맵핑하는 단계; 또는
    계층화 디코딩을 수행할 수 없는 단말기에 대해, 상기 서브픽처 코드 스트림 및 상기 인핸스드 계층 코드 스트림을 포함하는 상기 계층화 코드 스트림을 기초 계층 코딩 표준의 코드 스트림으로 트랜스코딩하거나 맵핑하는 단계
    를 포함하는, 다자간 회의 제어 방법.
  11. 다자간 제어 유닛(Multipoint Control Unit: MCU)에 있어서,
    각각의 단말기의 해상도-계층화 코딩 파라미터를 결정하고, 상기 결정된 해상도-계층화 코딩 파라미터를 대응하는 단말기에 송신하도록 구성된 제1 처리 유닛; 및
    수신된 코드 스트림 중에서 각각의 단말기가 디스플레이할 코드 스트림을 선택하고 상기 선택한 코드 스트림을 상기 대응하는 단말기가 디코딩할 수 있는 코드 스트림으로 트랜스코딩하거나 맵핑하는 제2 처리 유닛
    을 포함하는 다자간 제어 유닛.
  12. 제11항에 있어서,
    상기 제1 처리 유닛은,
    각각의 단말기의 디스플레이 요건 및 해상도 성능 정보를 수신하도록 구성된 정보 수신 유닛;
    상기 정보 수신 유닛이 수신한 각각의 단말기의 디스플레이 요건 및 해상도 성능 정보에 따라 모든 단말기의 디코딩 해상도 중 공통의 최고 해상도를 기초 계층 해상도로서 결정하고, 각 단말기의 해상도-계층화 코딩 파라미터를 결정하도록 구성되거나; 또는 상기 해상도 성능 정보 및 각 단말기의 디스플레이 요건에 따라 서브픽처 해상도 및 콤보 픽처 해상도를 결정하고 각 단말기의 해상도-계층화 코딩 파라미터를 결정하도록 구성된 파라미터 결정 유닛; 및
    상기 파라미터 결정 유닛에 의해 결정된 각각의 단말기의 해상도-계층화 코딩 파라미터를 상기 해상도-계층화 코딩 파라미터의 대응하는 단말기에 송신하도록 구성된 파라미터 송신 유닛;
    을 포함하는, 다자간 제어 유닛.
  13. 제11항에 있어서,
    상기 제2 처리 유닛은, 코드 스트림 선택 유닛, 코드 스트림 트랜스코딩 또는 맵핑 유닛, 및 코드 스트림 송신 유닛을 포함하며,
    상기 코드 스트림 선택 유닛은, 수신된 코드 스트림 중에서 각각의 단말기가 디스플레이할 코드 스트림을 선택하도록 구성되어 있고;
    상기 코드 스트림 트랜스코딩 또는 맵핑 유닛은, 상기 코드 스트림 선택 유닛이 선택한 코드 스트림을 대응하는 단말기가 디코딩할 수 있는 코드 스트림으로 트랜스코딩 또는 맵핑하도록 구성되어 있고, 상기 코드 스트림 트랜스코딩 또는 맵핑 유닛은 제1 트랜스코딩 또는 맵핑 유닛, 또는 제2 트랜스코딩 또는 맵핑 유닛, 또는 제3 트랜스코딩 또는 맵핑 유닛을 포함하며;
    상기 제1 트랜스코딩 또는 맵핑 유닛은, 해상도가 기초 계층 해상도와 동일한 단말기에 대해, 디코딩될 기초 계층 코드 스트림을 선택하고; 해상도가 상기 기초 계층 해상도보다 높고 계층화 디코딩을 수행할 수 있는 단말기에 대해, 디코딩될 기초 계층 코드 스트림 및 디코딩될 인핸스드 계층 코드 스트림을 선택하거나; 또는 기초 계층 및 인핸스드 계층을 포함하는 계층화 코드 스트림을 기초 계층 코딩 표준의 코드 스트림으로 트랜스코딩 또는 맵핑하며; 해상도가 기초 계층 해상도보다 높고 계층화 디코딩을 수행할 수 없는 단말기에 대해, 디코딩될 기초 계층 코드 스트림을 선택하거나, 또는 기초 계층 및 인핸스드 계층을 포함하는 계층화 코드 스트림을 기초 계층 코딩 표준의 코드 스트림으로 트랜스코딩 또는 맵핑하도록 구성되어 있으며;
    상기 제2 트랜스코딩 또는 맵핑 유닛은, 디코딩을 위해 하나 이상의 선택된 코드 스트림을 기초 계층 코드 스트림에 직접 결합하고, 또는 상기 하나 이상의 선택된 코드 스트림을 디코딩하고 디코딩된 픽처를 큰 픽처에 결합하며 상기 큰 픽처를 인코딩하여 기초 계층 코드 스트림을 획득하도록 구성되어 있으며;
    상기 제3 트랜스코딩 또는 맵핑 유닛은, 계층화 디코딩을 수행할 수 있는 단말기에 있어서 디코딩될 서브픽처 코드 스트림 및 디코딩될 인핸스드 계층 코드 스트림을 선택하거나, 또는 서브픽처 코드 스트림 및 인핸스드 계층 코드 스트림을 포함하는 계층화 코드 스트림을 기초 계층 코딩 표준의 코드 스트림으로 트랜스코딩 또는 맵핑하고, 그리고 계층화 디코딩을 수행할 수 없는 단말기에 있어서 서브픽처 코드 스트림 및 인핸스드 계층 코드 스트림을 포함하는 계층화 코드 스트림을 기초 계층 코딩 표준의 코드 스트림으로 트랜스코딩 또는 맵핑하도록 구성되어 있으며;
    상기 코드 스트림 송신 유닛은, 상기 트랜스코딩된 또는 맵핑된 코드 스트림을 대응하는 단말기에 송신하도록 구성되어 있는, 다자간 제어 유닛.
  14. 다자간 회의 시스템에 있어서,
    각각의 단말기의 해상도-계층화 코딩 파라미터를 결정하고, 상기 결정된 해상도-계층화 코딩 파라미터를 대응하는 단말기에 송신하며, 수신된 코드 스트림 중에서 각각의 단말기가 디스플레이할 코드 스트림을 선택하고, 상기 선택한 코드 스트림을 상기 대응하는 단말기가 디코딩할 수 있는 코드 스트림으로 트랜스코딩 또는 맵핑하며, 상기 디코딩할 수 있는 코드 스트림을 상기 대응하는 단말기에 송신하도록 구성된 다자간 제어 유닛(Multipoint Control Unit); 및
    수신된 해상도-계층화 코딩 파라미터에 따라 송신되는 이미지에 대해 해상도-계층화 코딩을 수행하고, 그리고 상기 수신된 코드 스트림을 디코딩하도록 구성된 단말기
    를 포함하는 다자간 회의 시스템.
  15. 제14항에 있어서,
    상기 단말기는,
    상기 해상도-계층화 코딩 파라미터를 수신하도록 구성된 파라미터 수신 유닛;
    상기 파라미터 수신 유닛이 수신한 상기 해상도-계층화 코딩 파라미터에 따라 송신되는 이미지에 대해 해상도-계층화 코딩을 수행하며, 상기 코딩된 스트림을 송신하도록 구성된 코딩 유닛; 및
    상기 수신한 코드 스트림을 디코딩하도록 구성된 디코딩 유닛
    을 포함하는, 다자간 회의 시스템.
KR1020107027513A 2008-05-23 2009-05-20 다자간 회의의 제어 방법 및 장치 KR101224097B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN200810112398.2 2008-05-23
CN200810112398.2A CN101588252B (zh) 2008-05-23 2008-05-23 一种多点会议的控制方法及装置
PCT/CN2009/071860 WO2009140913A1 (zh) 2008-05-23 2009-05-20 一种多点会议的控制方法及装置

Publications (2)

Publication Number Publication Date
KR20110015614A KR20110015614A (ko) 2011-02-16
KR101224097B1 true KR101224097B1 (ko) 2013-01-21

Family

ID=41339783

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020107027513A KR101224097B1 (ko) 2008-05-23 2009-05-20 다자간 회의의 제어 방법 및 장치

Country Status (6)

Country Link
US (1) US8339440B2 (ko)
EP (1) EP2288152A4 (ko)
JP (1) JP5337237B2 (ko)
KR (1) KR101224097B1 (ko)
CN (1) CN101588252B (ko)
WO (1) WO2009140913A1 (ko)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101588252B (zh) 2008-05-23 2011-07-20 华为技术有限公司 一种多点会议的控制方法及装置
CN101888395A (zh) * 2009-05-13 2010-11-17 华为技术有限公司 一种数据的同步方法、widget终端及服务器
US9516272B2 (en) * 2010-03-31 2016-12-06 Polycom, Inc. Adapting a continuous presence layout to a discussion situation
US20130083858A1 (en) * 2010-05-24 2013-04-04 Nec Corporation Video image delivery system, video image transmission device, video image delivery method, and video image delivery program
JP5767456B2 (ja) * 2010-10-18 2015-08-19 キヤノン株式会社 映像処理装置及びその制御方法、及びプログラム
CN102480613B (zh) * 2010-11-25 2014-01-01 中兴通讯股份有限公司 会议电视系统的终端的视频监控方法、装置及系统
CN102572368A (zh) * 2010-12-16 2012-07-11 中兴通讯股份有限公司 分布式视频的处理方法、系统及多点控制单元
US20120169835A1 (en) * 2011-01-05 2012-07-05 Thomas Woo Multi-party audio/video conference systems and methods supporting heterogeneous endpoints and progressive personalization
CN102761731B (zh) * 2011-04-29 2015-09-09 华为终端有限公司 数据内容的显示方法、装置和系统
CN102833519A (zh) * 2011-06-14 2012-12-19 华为终端有限公司 视频图像的适配处理方法、设备及系统
US10045089B2 (en) * 2011-08-02 2018-08-07 Apple Inc. Selection of encoder and decoder for a video communications session
CN102638705A (zh) * 2011-12-09 2012-08-15 中兴通讯股份有限公司 一种cms中转码参数模板化方法及转码系统
CN103248882A (zh) * 2012-02-02 2013-08-14 腾讯科技（深圳）有限公司 多媒体数据传输的方法、多媒体数据传输装置及系统
CN102547214B (zh) 2012-02-22 2013-05-29 腾讯科技（深圳）有限公司 一种多人视频通信中的视频编码方法以及终端
JP6260101B2 (ja) 2012-05-01 2018-01-17 株式会社リコー 通信端末、起動方法及びプログラム
EP2898506B1 (en) 2012-09-21 2018-01-17 Dolby Laboratories Licensing Corporation Layered approach to spatial audio coding
TW201517631A (zh) 2013-08-29 2015-05-01 Vid Scale Inc 使用者適應視訊電話
EP2884743A1 (en) * 2013-12-12 2015-06-17 Alcatel Lucent Process for managing the exchanges of video streams between users of a video conference service
US9369668B2 (en) * 2014-03-14 2016-06-14 Cisco Technology, Inc. Elementary video bitstream analysis
JP6150134B2 (ja) * 2014-03-24 2017-06-21 ソニー株式会社 画像符号化装置および方法、画像復号装置および方法、プログラム、並びに記録媒体
JP6269835B2 (ja) 2014-07-22 2018-01-31 株式会社リコー 制御システム、通信端末、通信システム、制御方法、及びプログラム
US9350772B2 (en) * 2014-10-24 2016-05-24 Ringcentral, Inc. Systems and methods for making common services available across network endpoints
US9398085B2 (en) 2014-11-07 2016-07-19 Ringcentral, Inc. Systems and methods for initiating a peer-to-peer communication session
CN104410861A (zh) * 2014-11-24 2015-03-11 华为技术有限公司 视频编码方法及装置
CN104580993A (zh) * 2015-01-15 2015-04-29 深圳市捷视飞通科技有限公司 一种无线数字视频多点通讯方法
WO2016114270A1 (ja) 2015-01-15 2016-07-21 株式会社リコー 制御システム、通信端末、通信システム、制御方法、及びプログラム
JP6536068B2 (ja) 2015-02-19 2019-07-03 株式会社リコー 制御システム、通信システム、制御方法、及びプログラム
US9609275B2 (en) 2015-07-08 2017-03-28 Google Inc. Single-stream transmission method for multi-user video conferencing
CN105207896B (zh) * 2015-09-23 2019-05-03 腾讯科技（深圳）有限公司 网络通话方法和装置
CN105681826B (zh) * 2016-01-08 2019-08-23 全时云商务服务股份有限公司 视频数据传输系统和方法以及视频数据解码方法
KR101770070B1 (ko) * 2016-08-16 2017-08-21 라인 가부시키가이샤 비디오 컨퍼런스를 위한 비디오 스트림 제공 방법 및 시스템
CN108206923B (zh) * 2016-12-16 2020-10-27 展讯通信（上海）有限公司 多路视频通话的实现方法、装置及多通终端
CN109217980B (zh) * 2017-07-03 2020-11-06 腾讯科技（深圳）有限公司 一种编解码能力配置方法、设备和计算机存储介质
EP3721631A1 (en) * 2017-12-06 2020-10-14 V-Nova International Limited Method and apparatus for decoding a received set of encoded data
CN109936750B (zh) * 2017-12-15 2022-04-19 华平信息技术股份有限公司 通信系统、微控制器及其应用的视频转码方法及系统
CN112911159B (zh) * 2018-08-27 2023-04-18 深圳市大疆创新科技有限公司 图像呈现方法、图像获取设备及终端装置
CN109327728B (zh) * 2018-11-23 2021-10-15 深圳市鹰硕技术有限公司 一种一对多同屏方法、装置和系统、同屏设备及存储介质
CN112738565B (zh) * 2020-12-22 2023-08-18 广州开得联智能科技有限公司 互动带宽优化方法、装置、计算机设备和存储介质
CN112822517A (zh) * 2021-01-08 2021-05-18 西安万像电子科技有限公司 分辨率适配方法、装置及非易失性存储介质
KR102461169B1 (ko) * 2021-03-02 2022-10-31 주식회사 가디언즈스타 WebRTC통신을 지원하는 웹 브라우저가 탑재된 컴퓨팅 장치에서 실행되는 실시간 전자문서 공유 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101010729A (zh) 2004-08-31 2007-08-01 皇家飞利浦电子股份有限公司 用于转码的方法和设备
WO2008051041A1 (en) 2006-10-25 2008-05-02 Electronics And Telecommunications Research Institute Multi-view video scalable coding and decoding

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5978514A (en) * 1994-11-10 1999-11-02 Kabushiki Kaisha Toshiba Image data coding and decoding system for efficiently compressing information using the shape and position of the image content
US5838664A (en) * 1997-07-17 1998-11-17 Videoserver, Inc. Video teleconferencing system with digital transcoding
CN1332575A (zh) * 2000-07-10 2002-01-23 刘伟 数字动态图像的传输方法及装置
FR2831377B1 (fr) * 2001-10-22 2004-01-16 France Telecom Systeme de conference du type qui comprend un pont de conference audio et/ou video et/ou des donnees auquel une pluralite de terminaux peuvent se connecter pour participer a une conference
EP1320216A1 (en) * 2001-12-11 2003-06-18 BRITISH TELECOMMUNICATIONS public limited company Method and device for multicast transmission
AU2003214244A1 (en) 2002-03-20 2003-10-08 Jens Cahnbley Videoconference system architecture
JP4053869B2 (ja) * 2002-12-05 2008-02-27 エヌ・ティ・ティ・コミュニケーションズ株式会社 ビデオ会議システム
JP4329358B2 (ja) * 2003-02-24 2009-09-09 富士通株式会社 ストリーム配信方法、及びストリーム配信システム
JP4351084B2 (ja) * 2004-02-03 2009-10-28 エヌ・ティ・ティ・コミュニケーションズ株式会社 画像通信システム、画像配信サーバ、画像通信方法、およびプログラム
JP2005333358A (ja) * 2004-05-19 2005-12-02 Ntt Communications Kk 画像通信装置、その処理方法及びクライアント装置並びにプログラム
JP3936707B2 (ja) * 2004-05-26 2007-06-27 日本電信電話株式会社 スケーラブル通信会議システム，サーバ装置，スケーラブル通信会議方法，スケーラブル通信会議制御方法，スケーラブル通信会議制御プログラムおよびそのプログラム記録媒体
JP4361430B2 (ja) * 2004-06-29 2009-11-11 エヌ・ティ・ティ・コミュニケーションズ株式会社 双方向画像通信装置、その処理方法及びクライアント装置並びにプログラム
US7692683B2 (en) * 2004-10-15 2010-04-06 Lifesize Communications, Inc. Video conferencing system transcoder
US7830409B2 (en) 2005-03-25 2010-11-09 Cherng-Daw Hwang Split screen video in a multimedia communication system
CA2615459C (en) * 2005-07-20 2012-09-18 Vidyo, Inc. System and method for a conference server architecture for low delay and distributed conferencing applications
JP4741325B2 (ja) * 2005-09-06 2011-08-03 日本電信電話株式会社 多地点会議方法及び多地点会議システム
EP1952631A4 (en) 2005-09-07 2012-11-21 Vidyo Inc SYSTEM AND METHOD FOR SCALABLE AND DECELERATING VIDEO CONFERENCES WITH SCALABLE VIDEO CODING
EP1985116A4 (en) * 2005-12-22 2013-06-05 Vidyo Inc SYSTEM AND METHOD FOR VIDEO CONFERENCES USING SCALABLE VIDEO CODING AND COMPOSITION OF SCALABLE VIDEO CONFERENCE SERVER
CN100496129C (zh) * 2007-06-05 2009-06-03 南京大学 基于h.264多路视频转码复用的方法
CN101257607B (zh) * 2008-03-12 2010-06-09 中兴通讯股份有限公司 一种应用于视频会议的多画面处理系统和方法
CN101588252B (zh) 2008-05-23 2011-07-20 华为技术有限公司 一种多点会议的控制方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101010729A (zh) 2004-08-31 2007-08-01 皇家飞利浦电子股份有限公司 用于转码的方法和设备
WO2008051041A1 (en) 2006-10-25 2008-05-02 Electronics And Telecommunications Research Institute Multi-view video scalable coding and decoding

Also Published As

Publication number Publication date
US8339440B2 (en) 2012-12-25
US20110063407A1 (en) 2011-03-17
CN101588252B (zh) 2011-07-20
EP2288152A1 (en) 2011-02-23
KR20110015614A (ko) 2011-02-16
WO2009140913A1 (zh) 2009-11-26
JP2011521570A (ja) 2011-07-21
JP5337237B2 (ja) 2013-11-06
EP2288152A4 (en) 2011-07-06
CN101588252A (zh) 2009-11-25

Similar Documents

Publication Publication Date Title
KR101224097B1 (ko) 다자간 회의의 제어 방법 및 장치
JP2011521570A5 (ko)
US11184584B2 (en) Method for image decoding, method for image encoding, apparatus for image decoding, apparatus for image encoding
CN101023681B (zh) 一种多视点视频位流的解码方法和解码装置
US8791978B2 (en) Scalable video encoding in a multi-view camera system
US7864849B2 (en) Method for scalably encoding and decoding video signal
US8958474B2 (en) System and method for effectively encoding and decoding a wide-area network based remote presentation session
US20100002069A1 (en) System And Method For Improved View Layout Management In Scalable Video And Audio Communication Systems
WO2011116611A1 (zh) 用于电视会议的视频播放方法
WO2015199991A2 (en) Techniques for interactive region-based scalability
US11089343B2 (en) Capability advertisement, configuration and control for video coding and decoding
CN111385515B (zh) 视频会议数据的传输方法和视频会议数据的传输系统
EP2512138A2 (en) Scalable video codec encoder device and methods thereof
US20010019354A1 (en) Method and an apparatus for video mixing of bit streams
WO2021093882A1 (zh) 一种视频会议方法、会议终端、服务器及存储介质
US11979577B2 (en) Video encoding method, video decoding method, and related apparatuses
EP2428032A2 (en) Bitstream syntax for graphics-mode compression in wireless hd 1.1
WO2013116539A1 (en) Scalable video coding extensions for high efficiency video coding
AU2014202368B2 (en) Improved view layout management in scalable video and audio commununication systems
WO2023030070A1 (zh) 编码、封装及显示方法、装置及电子设备
JP2012160838A (ja) Ｔｖ会議システム
EP4360316A2 (en) An apparatus, a method and a computer program for video coding and decoding
CN117676143A (zh) 一种编解码方法及装置
Ortega Video coding: Predictions are hard to make, especially about the future

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20151217

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20161219

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20171219

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20181219

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20191217

Year of fee payment: 8