KR102460538B1 - 영상 품질 조정 방법과 이를 수행하기 위한 단말 및 중계 서버 - Google Patents

영상 품질 조정 방법과 이를 수행하기 위한 단말 및 중계 서버 Download PDF

Info

Publication number
KR102460538B1
KR102460538B1 KR1020180060700A KR20180060700A KR102460538B1 KR 102460538 B1 KR102460538 B1 KR 102460538B1 KR 1020180060700 A KR1020180060700 A KR 1020180060700A KR 20180060700 A KR20180060700 A KR 20180060700A KR 102460538 B1 KR102460538 B1 KR 102460538B1
Authority
KR
South Korea
Prior art keywords
participant
image
quality
network
size
Prior art date
Application number
KR1020180060700A
Other languages
English (en)
Other versions
KR20190135340A (ko
Inventor
정지원
윤희태
강준호
김상범
김영광
안호성
조상범
Original Assignee
삼성에스디에스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성에스디에스 주식회사 filed Critical 삼성에스디에스 주식회사
Priority to KR1020180060700A priority Critical patent/KR102460538B1/ko
Priority to PCT/KR2019/006142 priority patent/WO2019231165A1/ko
Priority to EP19812639.3A priority patent/EP3687163A4/en
Priority to US16/652,891 priority patent/US10812760B2/en
Publication of KR20190135340A publication Critical patent/KR20190135340A/ko
Application granted granted Critical
Publication of KR102460538B1 publication Critical patent/KR102460538B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • H04L43/0882—Utilisation of link capacity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2385—Channel allocation; Bandwidth allocation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Environmental & Geological Engineering (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Abstract

영상 품질 조정 방법과 이를 수행하기 위한 단말 및 중계 서버가 제공된다. 본 발명의 일 실시예에 따른 단말은, 네트워크를 통해 컨퍼런스에 접속하는 단말로서, 상기 컨퍼런스에 접속한 복수의 타 단말로부터 수신되는 각 참석자 영상을 획득하는 영상 획득부; 상기 네트워크의 성능을 모니터링하는 네트워크 모니터링부; 상기 네트워크의 성능이 변화하는 경우 상기 각 참석자 영상을 분석하여 상기 각 참석자 영상의 영상 정보, 발화 정보 및 품질 정보 중 하나 이상을 획득하는 영상 분석부; 및 상기 각 참석자 영상의 분석 결과에 따라 상기 각 참석자 영상 중 적어도 일부에 대한 품질을 변화시키는 품질 제어부를 포함한다.

Description

영상 품질 조정 방법과 이를 수행하기 위한 단말 및 중계 서버{METHOD FOR ADJUSTING VIDEO QUALITY, TERMINAL AND RELAY SERVER FOR EXECUTING THE SAME}
본 발명의 실시예들은 다자간 컨퍼런스 시스템에서의 영상 품질 조정 기술과 관련된다.
화상회의(Video Conference) 서비스는 각 참석자들이 소지하는 단말에서 송신하거나 수신된 영상들을 각 단말의 화면에 동시에 표시하여 원격의 참석자들이 마치 한 장소에 있는 것과 같은 효과를 제공한다. 이와 같이 복수의 단말에서 영상 데이터를 송수신하는 경우 각 단말에서의 네트워크 사용 대역폭의 크기가 증감을 반복하게 되며, 사용 가능한 총 네트워크 대역폭은 각 단말에서의 네트워크 환경, 회의에 참석하는 단말의 개수 등과 같은 다양한 조건에 따라 그 크기가 제한되는 경우가 발생할 수 있다.
종래의 화상회의 서비스에는 네트워크 사용 대역폭의 크기가 한계치에 도달하는 경우 복수의 단말로부터 수신된 각 참석자 영상의 품질을 일괄 조정함으로써 상기 네트워크 사용 대역폭의 크기가 한계치를 초과하지 않도록 하였다. 즉, 종래의 화상회의 서비스에는 네트워크 사용 대역폭의 크기가 한계치에 도달하는 경우 각 참석자 영상의 품질을 일괄 감소시키고 그렇지 않은 경우 각 참석자 영상의 품질을 일괄 증가시키는 방식을 사용하였다.
그러나, 참석자가 단말을 켜놓은 상태로 자리를 비우거나, 참석자 영상의 전체 크기 대비 상기 참석자 영상에 포함된 사람의 얼굴 크기가 서로 다르거나, 하나의 참석자 영상에 여러 사람의 얼굴이 등장하는 등 각 참석자 영상의 상태는 서로 상이할 수 있다. 이러한 상황에서 각 참석자 영상의 품질을 일괄적으로 조정하는 경우 각 참석자들이 바라보는 참석자 영상의 품질은 상대적으로 낮을 수 있으며, 이로 인해 화상회의 서비스에 대한 참석자들의 만족도가 떨어질 수 있다.
한국공개특허공보 제10-2011-0052186호(2011.05.18)
본 발명의 실시예들은 네트워크 성능이 변화할 때마다 변화된 네트워크 성능을 고려하여 각 참석자 영상의 품질을 효율적으로 조정하는 수단을 제공하기 위한 것이다.
예시적인 실시예에 따르면, 네트워크를 통해 컨퍼런스에 접속하는 단말로서, 상기 컨퍼런스에 접속한 복수의 타 단말로부터 수신되는 각 참석자 영상을 획득하는 영상 획득부; 상기 네트워크의 성능을 모니터링하는 네트워크 모니터링부; 상기 네트워크의 성능이 변화하는 경우 상기 각 참석자 영상을 분석하여 상기 각 참석자 영상의 영상 정보, 발화 정보 및 품질 정보 중 하나 이상을 획득하는 영상 분석부; 및 상기 각 참석자 영상의 분석 결과에 따라 상기 각 참석자 영상 중 적어도 일부에 대한 품질을 변화시키는 품질 제어부를 포함하는, 단말이 제공된다.
상기 네트워크의 성능은, 사용 가능한 총 네트워크 대역폭의 크기일 수 있다.
상기 품질 제어부는, 상기 각 참석자 영상의 분석 결과를 이용하여 상기 각 참석자 영상 중 하나 이상을 선택하며, 선택된 상기 참석자 영상의 품질을 변화시켰을 때 추정되는 네트워크 사용 대역폭의 크기가 변화된 상기 네트워크의 성능에 대응되는 품질 변화 조건을 만족하는지의 여부를 판단하고, 상기 판단의 결과에 따라 상기 각 참석자 영상 중 적어도 일부에 대한 품질을 변화시킬 수 있다.
상기 품질 제어부는, 상기 각 참석자 영상의 분석 결과에 따라 상기 각 참석자 영상의 우선순위 점수를 계산하고, 상기 우선순위 점수에 따라 하나 이상의 참석자 영상을 선택할 수 있다.
상기 품질 제어부는, 상기 네트워크 사용 대역폭의 크기가 상기 품질 변화 조건을 만족하지 않는 경우 다른 참석자 영상을 추가적으로 선택하고, 상기 네트워크 사용 대역폭의 크기가 상기 품질 변화 조건을 만족하는 경우 현재까지 선택된 상기 참석자 영상의 품질을 일괄적으로 변경할 수 있다.
상기 영상 정보는, 상기 참석자 영상에 포함된 참석자 얼굴의 개수, 상기 참석자 영상의 전체 크기 대비 상기 참석자 영상에 포함된 참석자 얼굴의 크기에 대한 비율 및 상기 참석자 영상의 움직임 정도 중 하나 이상을 포함할 수 있다.
상기 발화 정보는, 상기 참석자 영상에 포함된 참석자의 현재 발화 여부 및 상기 참석자 영상에 포함된 참석자의 발화 빈도 중 하나 이상을 포함할 수 있다.
다른 예시적인 실시예에 따르면, 컨퍼런스로의 접속을 위한 복수의 단말과 네트워크를 통해 연결되는 중계 서버로서, 상기 컨퍼런스에 접속한 상기 복수의 단말로부터 수신되는 각 참석자 영상을 획득하는 영상 획득부; 상기 네트워크의 성능에 관한 정보를 획득하는 네트워크 모니터링부; 상기 네트워크의 성능이 변화하는 경우 상기 각 참석자 영상을 분석하여 상기 각 참석자 영상의 영상 정보, 발화 정보 및 품질 정보 중 하나 이상을 획득하는 영상 분석부; 및 상기 각 참석자 영상의 분석 결과에 따라 상기 각 참석자 영상 중 적어도 일부에 대한 품질을 변화시키는 품질 제어부를 포함하는, 중계 서버가 제공된다.
상기 네트워크의 성능은, 사용 가능한 총 네트워크 대역폭의 크기일 수 있다.
상기 품질 제어부는, 상기 각 참석자 영상의 분석 결과를 이용하여 상기 각 참석자 영상 중 하나 이상을 선택하며, 선택된 상기 참석자 영상의 품질을 변화시켰을 때 추정되는 네트워크 사용 대역폭의 크기가 변화된 상기 네트워크의 성능에 대응되는 품질 변화 조건을 만족하는지의 여부를 판단하고, 상기 판단의 결과에 따라 상기 각 참석자 영상 중 적어도 일부에 대한 품질을 변화시킬 수 있다.
상기 품질 제어부는, 상기 각 참석자 영상의 분석 결과에 따라 상기 각 참석자 영상의 우선순위 점수를 계산하고, 상기 우선순위 점수에 따라 하나 이상의 참석자 영상을 선택할 수 있다.
상기 품질 제어부는, 상기 네트워크 사용 대역폭의 크기가 상기 품질 변화 조건을 만족하지 않는 경우 다른 참석자 영상을 추가적으로 선택하고, 상기 네트워크 사용 대역폭의 크기가 상기 품질 변화 조건을 만족하는 경우 현재까지 선택된 상기 참석자 영상의 품질을 일괄적으로 변경할 수 있다.
상기 영상 정보는, 상기 참석자 영상에 포함된 참석자 얼굴의 개수, 상기 참석자 영상의 전체 크기 대비 상기 참석자 영상에 포함된 참석자 얼굴의 크기에 대한 비율 및 상기 참석자 영상의 움직임 정도 중 하나 이상을 포함할 수 있다.
상기 발화 정보는, 상기 참석자 영상에 포함된 참석자의 현재 발화 여부 및 상기 참석자 영상에 포함된 참석자의 발화 빈도 중 하나 이상을 포함할 수 있다.
다른 예시적인 실시예에 따르면, 네트워크를 통해 컨퍼런스에 접속한 단말에서 수행되는 영상 품질 조정 방법으로서, 상기 컨퍼런스에 접속한 복수의 타 단말로부터 수신되는 각 참석자 영상을 획득하는 단계; 상기 네트워크의 성능을 모니터링하는 단계; 상기 네트워크의 성능이 변화하는 경우 상기 각 참석자 영상을 분석하여 상기 각 참석자 영상의 영상 정보, 발화 정보 및 품질 정보 중 하나 이상을 획득하는 단계; 및 상기 각 참석자 영상의 분석 결과에 따라 상기 각 참석자 영상 중 적어도 일부에 대한 품질을 변화시키는 단계를 포함하는, 영상 품질 조정 방법이 제공된다.
상기 네트워크의 성능은, 사용 가능한 총 네트워크 대역폭의 크기일 수 있다.
상기 각 참석자 영상 중 적어도 일부에 대한 품질을 변화시키는 단계는, 상기 각 참석자 영상의 분석 결과를 이용하여 상기 각 참석자 영상 중 하나 이상을 선택하는 단계; 선택된 상기 참석자 영상의 품질을 변화시켰을 때 추정되는 네트워크 사용 대역폭의 크기가 변화된 상기 네트워크의 성능에 대응되는 품질 변화 조건을 만족하는지의 여부를 판단하는 단계; 및 상기 판단의 결과에 따라 상기 각 참석자 영상 중 적어도 일부에 대한 품질을 변화시키는 단계를 포함할 수 있다.
상기 각 참석자 영상을 하나씩 선택하는 단계는, 상기 각 참석자 영상의 분석 결과에 따라 상기 각 참석자 영상의 우선순위 점수를 계산하고, 상기 우선순위 점수에 따라 하나 이상의 참석자 영상을 선택할 수 있다.
상기 판단의 결과에 따라 상기 각 참석자 영상 중 적어도 일부에 대한 품질을 변화시키는 단계는, 상기 네트워크 사용 대역폭의 크기가 상기 품질 변화 조건을 만족하지 않는 경우 다른 참석자 영상을 추가적으로 선택하고, 상기 네트워크 사용 대역폭의 크기가 상기 품질 변화 조건을 만족하는 경우 현재까지 선택된 상기 참석자 영상의 품질을 일괄적으로 변경할 수 있다.
상기 영상 정보는, 상기 참석자 영상에 포함된 참석자 얼굴의 개수, 상기 참석자 영상의 전체 크기 대비 상기 참석자 영상에 포함된 참석자 얼굴의 크기에 대한 비율 및 상기 참석자 영상의 움직임 정도 중 하나 이상을 포함할 수 있다.
상기 발화 정보는, 상기 참석자 영상에 포함된 참석자의 현재 발화 여부 및 상기 참석자 영상에 포함된 참석자의 발화 빈도 중 하나 이상을 포함할 수 있다.
다른 예시적인 실시예에 따르면, 컨퍼런스로의 접속을 위한 복수의 단말과 네트워크를 통해 연결되는 중계 서버에서 수행되는 영상 품질 조정 방법으로서, 상기 컨퍼런스에 접속한 상기 복수의 단말로부터 수신되는 각 참석자 영상을 획득하는 단계; 상기 네트워크의 성능에 관한 정보를 획득하는 단계; 상기 네트워크의 성능이 변화하는 경우 상기 각 참석자 영상을 분석하여 상기 각 참석자 영상의 영상 정보, 발화 정보 및 품질 정보 중 하나 이상을 획득하는 단계; 및 상기 각 참석자 영상의 분석 결과에 따라 상기 각 참석자 영상 중 적어도 일부에 대한 품질을 변화시키는 단계를 포함하는, 영상 품질 조정 방법이 제공된다.
상기 네트워크의 성능은, 사용 가능한 총 네트워크 대역폭의 크기일 수 있다.
상기 각 참석자 영상 중 적어도 일부에 대한 품질을 변화시키는 단계는, 상기 각 참석자 영상의 분석 결과를 이용하여 상기 각 참석자 영상 중 하나 이상을 선택하는 단계; 선택된 상기 참석자 영상의 품질을 변화시켰을 때 추정되는 네트워크 사용 대역폭의 크기가 변화된 상기 네트워크의 성능에 대응되는 품질 변화 조건을 만족하는지의 여부를 판단하는 단계; 및 상기 판단의 결과에 따라 상기 각 참석자 영상 중 적어도 일부에 대한 품질을 변화시키는 단계를 포함할 수 있다.
상기 각 참석자 영상을 하나씩 선택하는 단계는, 상기 각 참석자 영상의 분석 결과에 따라 상기 각 참석자 영상의 우선순위 점수를 계산하고, 상기 우선순위 점수에 따라 하나 이상의 참석자 영상을 선택할 수 있다.
상기 판단의 결과에 따라 상기 각 참석자 영상 중 적어도 일부에 대한 품질을 변화시키는 단계는, 상기 네트워크 사용 대역폭의 크기가 상기 품질 변화 조건을 만족하지 않는 경우 다른 참석자 영상을 추가적으로 선택하고, 상기 네트워크 사용 대역폭의 크기가 상기 품질 변화 조건을 만족하는 경우 현재까지 선택된 상기 참석자 영상의 품질을 일괄적으로 변경할 수 있다.
상기 영상 정보는, 상기 참석자 영상에 포함된 참석자 얼굴의 개수, 상기 참석자 영상의 전체 크기 대비 상기 참석자 영상에 포함된 참석자 얼굴의 크기에 대한 비율 및 상기 참석자 영상의 움직임 정도 중 하나 이상을 포함할 수 있다.
상기 발화 정보는, 상기 참석자 영상에 포함된 참석자의 현재 발화 여부 및 상기 참석자 영상에 포함된 참석자의 발화 빈도 중 하나 이상을 포함할 수 있다.
본 발명의 실시예들에 따르면, 네트워크의 성능이 변화하는 경우 각 참석자 영상을 분석하여 각 참석자 영상별 우선순위 점수를 계산하고 상기 우선순위 점수에 따라 품질 변경 대상이 되는 참석자 영상을 결정함으로써, 네트워크 대역폭의 할당/회수 대상을 보다 효율적으로 선택할 수 있다.
또한, 본 발명의 실시예들에 따르면, 모든 참석자 영상의 품질을 일괄적으로 변경하는 것이 아니라 각 참석자 영상의 우선순위 점수를 계산하고 네트워크 성능이 변화할 때마다 변화된 네트워크 성능 및 상기 우선순위 점수를 고려하여 전체 참석자 영상들 중 일부에 대한 품질만을 일괄적으로 변경함으로써, 네트워크 성능의 다양한 변화 상황에서 높은 품질의 화상회의 서비스를 각 참석자에게 제공할 수 있다.
도 1은 본 발명의 제1 실시예에 따른 컨퍼런스 시스템의 상세 구성을 나타낸 블록도
도 2는 본 발명의 제2 실시예에 따른 컨퍼런스 시스템의 상세 구성을 나타낸 블록도
도 3은 본 발명의 실시예들에 따른 영상 분석부의 상세 구성을 나타낸 블록도
도 4는 본 발명의 일 실시예에 따른 영상 품질 조정 방법을 설명하기 위한 흐름도
도 5는 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도
이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
도 1은 본 발명의 제1 실시예에 따른 컨퍼런스 시스템(100)의 상세 구성을 나타낸 블록도이다.
본 발명의 실시예들에 따른 컨퍼런스 시스템은 복수의 참석자들 간의 화상회의 서비스를 제공하기 위한 것으로, 복수의 단말(110) 및 중계 서버(120)를 포함한다. 본 실시예들에 있어서, 화상회의 서비스는 가상의 공간을 통해 복수의 참석자들 간의 음성/영상 통화, 문서공유, 화면공유, 판서공유 등과 같은 기능을 제공하는 서비스를 의미한다. 중계 서버(120)(또는 별도의 컨퍼런스 서버)는 예를 들어, 관리자 또는 회의 개설자의 요청에 따라 컨퍼런스를 개설하고, 상기 컨퍼런스로의 접속을 위한 웹 서비스를 제공할 수 있다. 여기서, 컨퍼런스는 예를 들어, 웹 컨퍼런스(web conference)일 수 있으나 이에 한정되는 것은 아니며, 복수의 참석자들이 커뮤니케이션을 위해 서로의 음성 및 영상을 공유할 수 있는 모든 환경이 본 실시예들에 따른 컨퍼런스에 해당할 수 있다.
단말(110)은 상기 컨퍼런스에 참석하는 참석자가 소지하는 기기로서, 예를 들어 데스크톱, 노트북, 스마트폰, 태블릿 PC 등이 될 수 있다. 단말(110)은 예를 들어, 참석자의 입력에 따라 중계 서버(120)에 컨퍼런스로의 접속을 요청하고, 상기 컨퍼런스로의 접속시 중계 서버(120)로부터 상기 컨퍼런스에 접속한 타 단말(110) 측 참석자 영상을 각각 수신할 수 있다. 여기서, 참석자 영상은 참석자의 얼굴, 참석자가 소지하거나 가리키는 문서, 화면, 또는 판서와 관련된 영상 데이터뿐 아니라 참석자의 발화와 관련된 음성 데이터까지 포함할 수 있다.
일 예시로서, 단말 #1은 중계 서버(120)로부터 단말 #2에서 획득된 참석자 #2의 영상, 단말 #3에서 획득된 참석자 #3의 영상,…단말 #N에서 획득된 참석자 #N의 영상을 각각 수신할 수 있다.
단말(110)은 수신된 각 참석자 영상을 화면에 동시에 표시할 수 있으며, 이에 따라 상기 단말(110)의 사용자(예를 들어, 참석자 #1)는 원격의 참석자들과 마치 한 장소에 있는 것과 같은 느낌을 받을 수 있다.
일 예시로서, 단말(110)은 가상의 회의실 이미지를 화면에 디스플레이하고, 상기 각 참석자 영상을 상기 화면에 합성할 수 있다. 다른 예시로서, 단말(110)은 각 참석자 영상으로부터 각 참석자의 얼굴 부분을 추출하고, 추출된 얼굴 부분을 화면 내 설정된 영역에 각각 배치할 수도 있다. 이와 같이, 단말(110)은 다양한 방법을 통해 각 참석자 영상을 화면에 동시에 표시할 수 있다. 다만, 단말(110)이 각 참석자 영상을 화면에 표시하는 방식, 화면 레이아웃, 화면 배경 등이 특별히 한정되는 것은 아니다. 또한, 각 단말(110)은 각 참석자 영상이 포함된 화면을 서로 공유하여 서로 동일한 화면을 출력할 수 있으나 이에 한정되는 것은 아니며, 서로 다른 형태의 화면을 출력할 수도 있다. 또한, 각 참석자들 중 일부가 발화하는 경우, 각 단말(110)은 각 참석자 영상이 포함된 화면을 디스플레이하면서 해당 단말(110)에 구비된 스피커를 통해 상기 발화를 출력할 수 있다.
중계 서버(120)는 각 단말(110) 사이에서 화상회의 서비스와 관련된 데이터를 중계하는 장치이다. 중계 서버(120)는 네트워크(미도시)를 통해 각 단말(110)과 연결될 수 있으며, 각 단말(110) 사이에서 참석자의 영상 데이터, 음성 데이터 등을 포함하는 참석자 영상을 중계할 수 있다. 각 단말(110)은 상기 단말(110) 측 참석자 영상을 중계 서버(120)로 전달하고, 중계 서버(120)로부터 타 단말(110) 측 참석자 영상을 각각 수신할 수 있다.
이와 같이 복수의 단말(110)에서 데이터를 송수신하는 경우 각 단말(110)에서의 네트워크 사용 대역폭의 크기는 증감을 반복하게 되며, 컨퍼런스 서비스를 위해 사용 가능한 총 네트워크 대역폭 또한 각 단말(110)에서의 네트워크 환경, 컨퍼런스에 참석하는 단말(110)의 개수 등과 같은 다양한 조건에 따라 그 크기가 변화할 수 있다. 또한, 상술한 바와 같이, 참석자가 단말(110)을 켜놓은 상태로 자리를 비우거나, 참석자 영상의 전체 크기 대비 상기 참석자 영상에 포함된 사람의 얼굴 크기가 서로 다르거나, 하나의 참석자 영상에 여러 사람의 얼굴이 등장하는 경우 등으로 인해 각 참석자 영상의 상태가 서로 상이할 수 있으며, 이러한 상황에서는 모든 참석자 영상의 품질을 일괄적으로 조정할 경우 화상회의 서비스에 대한 참석자들의 만족도가 떨어질 수 있다.
따라서, 본 실시예들에서는 네트워크 성능이 변화할 때마다 변화된 네트워크 성능을 고려하여 각 참석자 영상의 품질을 효율적으로 조정할 수 있도록 하였다.
도 1에서는 본 발명의 제1 실시예에 따라 각 단말(110)에서 참석자 영상의 품질을 조정하는 예시를 나타내고 있다. 다만, 참석자 영상의 품질을 조정하는 주체가 단말(110)로 한정되는 것은 아니며, 중계 서버(120) 측에서 이러한 품질 조정이 이루어질 수도 있다. 이하에서는 도 1을 참조하여 단말(110)에서 참석자 영상의 품질을 조정하는 예시에 대해 구체적으로 살펴보기로 하며, 중계 서버(120)에서 참석자 영상의 품질을 조정하는 예시는 도 2를 참조하여 후술하기로 한다.
도 1을 참조하면, 각 단말(110)은 영상 획득부(132), 네트워크 모니터링부(134), 영상 분석부(136) 및 품질 제어부(138)를 포함한다.
영상 획득부(132)는 컨퍼런스에 접속한 복수의 타 단말(110)로부터 수신되는 각 참석자 영상을 획득한다. 영상 획득부(132)는 단말(110)이 중계 서버(120)를 통해 컨퍼런스에 접속함에 따라 중계 서버(120)로부터 타 단말(110) 측 참석자 영상을 각각 수신할 수 있다.
네트워크 모니터링부(134)는 단말(110)이 접속한 네트워크의 성능을 모니터링한다. 네트워크 모니터링부(134)는 단말(110)의 업링크(uplink), 다운링크(downlink)에 대한 네트워크의 성능을 주기적으로(예를 들어, 30초에 한번) 모니터링할 수 있다. 여기서, 네트워크의 성능은 예를 들어, 사용 가능한 총 네트워크 대역폭의 크기를 의미할 수 있다.
영상 분석부(136)는 네트워크의 성능이 변화하는 경우 각 참석자 영상을 분석하여 상기 각 참석자 영상의 영상 정보, 발화 정보 및 품질 정보 중 하나 이상을 획득한다. 일 예시로서, 영상 분석부(136)는 사용 가능한 총 네트워크 대역폭의 크기가 현재보다 설정된 값 이상으로 증가하거나 감소하는 경우 각 참석자 영상을 분석하여 상기 각 참석자 영상의 영상 정보, 발화 정보 및 품질 정보 중 하나 이상을 획득할 수 있다.
여기서, 상기 영상 정보는 예를 들어, 상기 참석자 영상에 포함된 참석자 얼굴의 개수, 상기 참석자 영상의 전체 크기 대비 상기 참석자 영상에 포함된 참석자 얼굴의 크기에 대한 비율 및 상기 참석자 영상의 움직임 정도 중 하나 이상을 포함할 수 있다. 또한, 상기 발화 정보는 예를 들어, 상기 참석자 영상에 포함된 참석자의 현재 발화 여부 및 상기 참석자 영상에 대응되는 단말이 상기 컨퍼런스에 접속해 있는 동안 상기 참석자 영상에 포함된 참석자의 발화 빈도 중 하나 이상을 포함할 수 있다. 또한, 상기 품질 정보는 예를 들어, 각 참석자 영상의 해상도를 포함할 수 있다.
영상 분석부(136)는 예를 들어, 얼굴의 특징점 검출 알고리즘, 사람 인식 알고리즘, 영상 움직임 감지 알고리즘 등과 같은 각종 영상 처리 기법을 통해 각 참석자 영상의 영상 정보 및 품질 정보를 획득할 수 있으며, 각종 음성 인식 기법을 통해 각 참석자 영상의 발화 정보를 획득할 수 있다. 영상 분석부(136)는 본 발명이 속한 기술분야에서 일반적으로 널리 알려진 다양한 방법을 통해 각 참석자 영상의 영상 정보, 발화 정보 및 품질 정보를 각각 획득할 수 있으며, 상기 영상 정보, 발화 정보 및 품질 정보를 획득하는 구체적인 방법이 특별히 한정되는 것은 아니다.
품질 제어부(138)는 각 참석자 영상의 분석 결과에 따라 상기 각 참석자 영상 중 적어도 일부에 대한 품질을 변화시킨다. 구체적으로, 품질 제어부(138)는 각 참석자 영상의 분석 결과에 따라 상기 각 참석자 영상 중 하나 이상을 선택하고, 선택된 참석자 영상의 품질 변화시 설정된 품질 변화 조건을 만족하는지의 여부를 판단하며, 상기 판단의 결과에 따라 각 참석자 영상 중 적어도 일부에 대한 품질을 변화시킬 수 있다. 이때, 품질 제어부(138)는 상기 각 참석자 영상의 우선순위 점수를 계산하고, 상기 우선순위 점수를 고려하여 하나 이상의 참석자 영상을 선택할 수 있다. 여기서, 우선순위 점수는 각 참석자 영상별 품질 변화의 필요성을 수치화한 값으로서, 우선순위 점수가 높은 참석자 영상일수록 우선적으로 품질을 변화시킬 필요가 있는 것으로 볼 수 있다.
먼저, 품질 제어부(138)는 상기 우선순위 점수에 따라 상기 각 참석자 영상을 정렬하고, 상기 각 참석자 영상 중 하나 이상의 참석자 영상을 상기 정렬된 순으로 선택할 수 있다.
일 예시로서, 사용 가능한 총 네트워크 대역폭의 크기가 현재보다 감소하는 경우, 품질 제어부(138)는 상기 우선순위 점수에 따라 상기 각 참석자 영상을 오름차순으로 정렬하고, 상기 각 참석자 영상을 상기 정렬된 순서에 따라 하나씩 선택할 수 있다.
다른 예시로서, 사용 가능한 총 네트워크 대역폭의 크기가 현재보다 증가하는 경우, 품질 제어부(138)는 상기 우선순위 점수에 따라 상기 각 참석자 영상을 내림차순으로 정렬하고, 상기 각 참석자 영상을 상기 정렬된 순서에 따라 하나씩 선택할 수 있다. 다만, 여기서는 설명의 편의상 품질 제어부(138)가 우선순위 점수에 따라 각 참석자 영상을 하나씩 선택하는 것으로 설명하였으나 이에 한정되는 것은 아니며, 품질 제어부(138)는 우선순위 점수에 따라 한번에 복수의 참석자 영상을 선택할 수도 있다.
다음으로, 품질 제어부(138)는 상기 참석자 영상을 선택할 때마다 현재까지 선택된 참석자 영상의 품질을 변화시켰을 때 추정되는 네트워크 사용 대역폭의 크기가 변화된 네트워크의 성능에 대응되는 품질 변화 조건을 만족하는지의 여부를 판단하고, 상기 판단의 결과에 따라 각 참석자 영상 중 적어도 일부에 대한 품질을 변화시킨다.
일 예시로서, 사용 가능한 총 네트워크 대역폭의 크기가 현재보다 감소하는 경우, 품질 제어부(138)는 상기 참석자 영상을 선택할 때마다 현재까지 선택된 참석자 영상의 품질을 감소시켰을 때 추정되는 네트워크 사용 대역폭의 크기가 변화된 네트워크의 성능에 대응되는 품질 변화 조건을 만족하는지의 여부를 판단할 수 있다. 여기서, 품질 변화 조건은 각 참석자 영상의 품질을 변화시킬지 결정하는 데 판단이 되는 기준으로서, 예를 들어 아래와 같은 제1 조건 및 제2 조건을 포함할 수 있다.
* 제1 조건 : 네트워크 사용 대역폭의 크기가 현재 사용 가능한 총 네트워크 대역폭의 크기(제1 임계치) 이내에 속하는지의 여부
* 제2 조건 : 네트워크 사용 대역폭의 크기가 현재 사용 가능한 총 네트워크 대역폭의 크기보다 작은 설정된 값(제2 임계치) 이상인지의 여부
이때, 상기 품질 변화 조건은 현재 사용 가능한 총 네트워크 대역폭의 크기에 따라 달라질 수 있다. 예를 들어, 사용 가능한 총 네트워크 대역폭의 크기가 2Mbps에서 1.5Mbps로 감소하였다고 가정할 때, 품질 제어부(138)는 상기 참석자 영상을 선택할 때마다 현재까지 선택된 참석자 영상의 품질을 감소시켰을 때 추정되는 네트워크 사용 대역폭의 크기가 상기 품질 변화 조건의 제1 조건(즉, 상기 추정되는 네트워크 사용 대역폭의 크기가 1.5Mbps 이내에 속하는지의 여부) 및 제2 조건(즉, 상기 추정되는 네트워크 사용 대역폭의 크기가 1.5Mbps 보다 0.3Mbps 크기만큼 작은 1.2Mbps 이상인지의 여부)을 만족하는지의 여부를 판단할 수 있다. 품질 제어부(138)는 상기 추정되는 네트워크 사용 대역폭의 크기가 상기 품질 변화 조건을 만족하지 않는 경우 다른 참석자 영상(예를 들어, 가장 마지막에 선택된 참석자 영상의 다음 참석자 영상)을 추가적으로 선택하고, 상기 추정되는 네트워크 사용 대역폭의 크기가 상기 품질 변화 조건을 만족하는 경우 현재까지 선택된 상기 참석자 영상의 품질을 일괄적으로 변경할 수 있다. 위 예시에서, 상기 추정되는 네트워크 사용 대역폭의 크기가 1.8Mbps 인 경우, 품질 제어부(138)는 상기 네트워크 사용 대역폭의 크기가 상기 품질 변화 조건을 만족하지 않으므로 가장 마지막에 선택된 참석자 영상의 다음 참석자 영상을 선택한 후 현재까지 선택된 참석자 영상의 품질을 감소시켰을 때 추정되는 네트워크 사용 대역폭의 크기를 새롭게 추정할 수 있다. 이와 같이 새롭게 추정된 네트워크 사용 대역폭의 크기가 1.3Mbps인 경우, 품질 제어부(138)는 상기 네트워크 사용 대역폭의 크기가 상기 품질 변화 조건을 만족하므로 현재까지 선택된 참석자 영상의 품질들을 일괄적으로 감소시킬 수 있다.
다른 예시로서, 사용 가능한 총 네트워크 대역폭의 크기가 현재보다 증가하는 경우, 품질 제어부(138)는 상기 참석자 영상을 선택할 때마다 현재까지 선택된 참석자 영상의 품질을 증가시켰을 때 추정되는 네트워크 사용 대역폭의 크기가 변화된 네트워크의 성능에 대응되는 품질 변화 조건을 만족하는지의 여부를 판단할 수 있다. 예를 들어, 사용 가능한 총 네트워크 대역폭의 크기가 1.3Mbps에서 1.8Mbps로 증가하였다고 가정할 때, 품질 제어부(138)는 상기 참석자 영상을 선택할 때마다 현재까지 선택된 참석자 영상의 품질을 증가시켰을 때 추정되는 네트워크 사용 대역폭의 크기가 상기 품질 변화 조건의 제1 조건(즉, 상기 추정되는 네트워크 사용 대역폭의 크기가 1.8Mbps 이내에 속하는지의 여부) 및 제2 조건(즉, 상기 추정되는 네트워크 사용 대역폭의 크기가 1.8Mbps 보다 0.5Mbps 크기만큼 작은 1.3Mbps 이상인지의 여부)을 만족하는지의 여부를 판단할 수 있다. 위 예시에서, 상기 추정되는 네트워크 사용 대역폭의 크기가 1.2Mbps 인 경우, 품질 제어부(138)는 상기 네트워크 사용 대역폭의 크기가 상기 품질 변화 조건(즉, 제2 조건)을 만족하지 않으므로 다른 참석자 영상(예를 들어, 가장 마지막에 선택된 참석자 영상의 다음 참석자 영상)을 추가적으로 선택한 후 현재까지 선택된 참석자 영상의 품질을 증가시켰을 때 추정되는 네트워크 사용 대역폭의 크기를 새롭게 추정할 수 있다. 이와 같이 새롭게 추정된 네트워크 사용 대역폭의 크기가 1.5Mbps인 경우, 품질 제어부(138)는 상기 네트워크 사용 대역폭의 크기가 상기 품질 변화 조건을 만족하므로 현재까지 선택된 참석자 영상의 품질들을 일괄적으로 증가시킬 수 있다.
즉, 품질 제어부(138)는 모든 참석자 영상의 품질을 일괄적으로 변경하는 것이 아니라 각 참석자 영상의 우선순위 점수를 계산하고 네트워크 성능이 변화할 때마다 변화된 네트워크 성능 및 상기 우선순위 점수를 고려하여 전체 참석자 영상들 중 일부에 대한 품질만을 일괄적으로 변경할 수 있다.
이때, 상기 우선순위 점수는 상술한 참석자 영상의 영상 정보, 발화 정보 및 품질 정보 중 하나 이상을 기초로 계산될 수 있다. 품질 제어부(138)는 예를 들어, 각 참석자 영상별 영상 정보의 점수, 발화 정보의 점수 및 품질 정보의 점수를 합산하여 각 참석자 영상별 우선순위 점수를 계산할 수 있다.
상기 우선순위 점수는 예를 들어, 아래 수학식 1과 같이 계산될 수 있다.
[수학식 1]
우선순위 점수 = α * 영상 정보의 점수 + β * 발화 정보의 점수 + γ * 품질 정보의 점수
(여기서, α, β, γ는 설정된 값을 갖는 계수임)
일 예시로서, 참석자 영상에 포함된 참석자 얼굴의 개수가 많은 참석자 영상의 경우 품질이 감소할 경우 시각적 인식률이 떨어질 수 있으므로, 참석자 영상에 포함된 참석자 얼굴의 개수가 많을수록 상기 영상 정보의 점수가 더 높게 계산될 수 있다.
다른 예시로서, 상기 참석자 영상의 전체 크기 대비 상기 참석자 영상에 포함된 참석자 얼굴의 크기에 대한 비율이 작은 영상의 경우 시각적 인식률이 떨어질 수 있으므로, 상기 참석자 영상의 전체 크기 대비 상기 참석자 영상에 포함된 참석자 얼굴의 크기에 대한 비율이 작을수록 상기 영상 정보의 점수가 더 높게 계산될 수 있다.
다른 예시로서, 정지하고 있는 참석자 영상에 비해 움직임 정도가 큰 참석자 영상의 경우 시각적 인식률이 떨어질 수 있으므로, 상기 참석자 영상의 움직임 정도가 클수록 상기 영상 정보의 점수가 더 높게 계산될 수 있다.
다른 예시로서, 상기 참석자 영상에 포함된 참석자가 현재 발화하고 있는 경우 그렇지 않은 경우에 비해 관심도가 더 높아질 수 있으므로, 참석자 영상에 포함된 참석자가 현재 발화하고 있는 경우 상기 발화 정보의 점수가 더 높게 계산될 수 있다.
다른 예시로서, 회의 참석 시간 중 상대적으로 발화 빈도가 많은 참석자 영상의 경우 그렇지 않은 경우에 비해 관심도가 더 높아질 수 있으므로, 상기 참석자 영상에 포함된 참석자의 발화 빈도가 높을수록 상기 발화 정보의 점수가 더 높게 계산될 수 있다.
다른 예시로서, 품질(예를 들어, 해상도)이 상대적으로 낮은 참석자 영상의 경우 그렇지 않은 경우에 비해 시각적 인식률이 떨어질 수 있으므로, 상기 참석자 영상의 품질이 낮을수록 상기 품질 정보의 점수가 더 높게 계산될 수 있다.
이와 같이, 상기 우선순위 점수는 상기 참석자 영상의 영상 정보, 발화 정보 및 품질 정보 중 하나 이상을 기초로 계산될 수 있으나, 앞서 설명한 우선순위 점수의 계산 방법은 일 예시에 불과하며 이에 한정되는 것이 아님에 유의한다. 품질 제어부(138)는 상기 영상 정보 점수, 발화 정보 점수 및 품질 정보 점수를 이와 다른 방법으로 산출할 수 있으며, 상기 영상 정보 점수, 발화 정보 점수 및 품질 정보 점수를 조합하여 우선순위 점수를 계산하는 방법 또한 특별히 한정되지 않는다. 또한, 여기서는 설명의 편의상 품질을 우선적으로 증가시킬 필요가 있는 참석자 영상의 우선순위 점수가 더 높게 산출되는 것으로 설명하였으나 이는 일 예시에 불과하며, 그 반대가 되어도 무방하다.
도 2는 본 발명의 제2 실시예에 따른 컨퍼런스 시스템(200)의 상세 구성을 나타낸 블록도이다. 본 발명의 제2 실시예에 따른 컨퍼런스 시스템(200)은 앞선 제1 실시예와 마찬가지로 복수의 단말(210) 및 중계 서버(220)를 포함한다. 본 발명의 제2 실시예에 따른 컨퍼런스 시스템(200)의 경우 단말(210)이 아닌 중계 서버(220)에서 참석자 영상의 품질을 조정하는 것을 제외하고는 앞서 설명한 제1 실시예에서와 동일하다.
이하에서는, 도 1을 참조하여 설명하였던 본 발명의 제1 실시예에서의 구성요소와 대응되는 구성요소는 제1 실시예에서 설명한 바와 동일 또는 유사한 기능을 수행하므로, 이에 대한 구체적인 설명은 생략하도록 한다.
도 2를 참조하면, 각 단말(210)은 네트워크 모니터링부(232) 및 피드백부(234)를 포함한다.
네트워크 모니터링부(232)는 단말(210)에서의 네트워크 사용 대역폭의 크기를 측정한다.
피드백부(234)는 네트워크 모니터링부(232)에서 측정된 네트워크 사용 대역폭의 크기에 관한 정보를 중계 서버(220)로 전달한다.
중계 서버(220)는 각 단말(210)에 대응되는 단말 에이전트(240)를 복수 개 구비할 수 있으며, 각 단말 에이전트(240)는 대응되는 단말(210)과 데이터를 송수신할 수 있다. 또한, 각 단말 에이전트(240)는 영상 획득부(252), 피드백부(254), 네트워크 모니터링부(256), 영상 분석부(258) 및 품질 제어부(260)를 포함할 수 있다.
영상 획득부(252)는 컨퍼런스에 접속한 복수의 단말(210)로부터 수신되는 각 참석자 영상을 획득한다. 각 단말 에이전트(240)는 대응되는 단말(210)로부터 해당 단말(210) 측 참석자 영상을 수신할 수 있다. 영상 획득부(252)는 타 단말 에이전트(240)로부터 타 단말(210) 측 참석자 영상을 각각 수신함으로써 모든 참석자 영상을 수집할 수 있다.
피드백부(254)는 단말(210)에서의 네트워크 사용 대역폭의 크기에 관한 정보를 상기 단말(210)로부터 수신한다.
네트워크 모니터링부(256)는 타 단말(210)에서의 네트워크 사용 대역폭의 크기에 관한 정보를 수집하고, 네트워크의 성능을 모니터링한다. 여기서, 네트워크의 성능은 예를 들어, 사용 가능한 총 네트워크 대역폭의 크기일 수 있다.
영상 분석부(258)는 상기 네트워크의 성능이 변화하는 경우 각 참석자 영상을 분석하여 상기 각 참석자 영상의 영상 정보, 발화 정보 및 품질 정보 중 하나 이상을 획득한다.
품질 제어부(260)는 상기 각 참석자 영상의 분석 결과에 따라 상기 각 참석자 영상 중 적어도 일부에 대한 품질을 변화시킨다. 상술한 바와 같이, 품질 제어부(260)는 각 참석자 영상의 분석 결과에 따라 상기 각 참석자 영상의 우선순위 점수를 계산하고, 상기 우선순위 점수에 따라 상기 각 참석자 영상 중 적어도 일부에 대한 품질을 변화시킬 수 있다. 구체적으로, 품질 제어부(260)는 상기 우선순위 점수에 따라 상기 각 참석자 영상을 정렬하고, 상기 정렬된 순으로 하나 이상의 참석자 영상을 선택할 수 있다. 또한, 품질 제어부(260)는 상기 참석자 영상을 선택할 때마다 현재까지 선택된 상기 참석자 영상의 품질을 변화시켰을 때 추정되는 네트워크 사용 대역폭의 크기가 변화된 상기 네트워크의 성능에 대응되는 품질 변화 조건을 만족하는지의 여부를 판단하고, 상기 판단의 결과에 따라 상기 각 참석자 영상 중 적어도 일부에 대한 품질을 변화시킬 수 있다.
도 3은 본 발명의 실시예들에 따른 영상 분석부(136, 258)의 상세 구성을 나타낸 블록도이다. 도 3에 도시된 바와 같이, 본 발명의 실시예들에 따른 영상 분석부(136, 258)는 영상 정보 획득부(302), 발화 정보 획득부(304) 및 품질 정보 획득부(306)를 포함한다.
영상 정보 획득부(302)는 각 참석자 영상을 분석하여 각 참석자 영상의 영상 정보를 획득한다. 상술한 바와 같이, 상기 영상 정보는 예를 들어, 상기 참석자 영상에 포함된 참석자 얼굴의 개수, 상기 참석자 영상의 전체 크기 대비 상기 참석자 영상에 포함된 참석자 얼굴의 크기에 대한 비율 및 상기 참석자 영상의 움직임 정도 중 하나 이상을 포함할 수 있다.
발화 정보 획득부(304)는 각 참석자 영상을 분석하여 각 참석자 영상의 발화 정보를 획득한다. 상술한 바와 같이, 상기 발화 정보는 예를 들어, 상기 참석자 영상에 포함된 참석자의 현재 발화 여부 및 상기 참석자 영상에 대응되는 단말이 상기 컨퍼런스에 접속해 있는 동안 상기 참석자 영상에 포함된 참석자의 발화 빈도 중 하나 이상을 포함할 수 있다.
품질 정보 획득부(306)는 각 참석자 영상을 분석하여 각 참석자 영상의 품질 정보를 획득한다. 상술한 바와 같이, 상기 품질 정보는 예를 들어, 각 참석자 영상의 해상도를 포함할 수 있다.
도 4는 본 발명의 일 실시예에 따른 영상 품질 조정 방법을 설명하기 위한 흐름도이다. 도시된 흐름도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.
단계 402에서, 영상 획득부(132, 252)는 컨퍼런스에 접속한 복수의 단말(110, 210)에서 촬영된 각 참석자 영상을 획득한다.
단계 404에서, 네트워크 모니터링부(134, 256)는 네트워크의 성능을 모니터링한다.
단계 406에서, 네트워크 모니터링부(134, 256)는 네트워크의 성능이 변화하였는지의 여부를 감지한다.
단계 408에서, 영상 분석부(136, 258)는 단계 406에서 상기 네트워크의 성능이 변화한 것으로 감지되는 경우 각 참석자 영상을 분석하여 상기 각 참석자 영상의 영상 정보, 발화 정보 및 품질 정보 중 하나 이상을 획득한다.
단계 410에서, 품질 제어부(138, 260)는 상기 각 참석자 영상의 분석 결과에 따라 상기 각 참석자 영상의 우선순위 점수를 계산한다.
단계 412에서, 품질 제어부(138, 260)는 상기 우선순위 점수에 따라 상기 각 참석자 영상을 정렬한다.
단계 414에서, 품질 제어부(138, 260)는 복수의 참석자 영상 중 품질 변경 대상이 되는 참석자 영상을 선택한다. 구체적으로, 품질 제어부(138, 260)는 상기 정렬된 순서에 따라 하나 이상의 참석자 영상을 선택할 수 있다.
단계 416에서, 품질 제어부(138, 260)는 상기 참석자 영상을 선택할 때마다 현재까지 선택된 상기 참석자 영상의 품질을 변화시켰을 때 추정되는 네트워크 사용 대역폭의 크기가 변화된 상기 네트워크의 성능에 대응되는 품질 변화 조건을 만족하는지의 여부를 판단한다.
단계 418에서, 품질 제어부(138, 260)는 상기 추정되는 네트워크 사용 대역폭의 크기가 변화된 상기 네트워크의 성능에 대응되는 품질 변화 조건을 만족하는 것으로 판단되는 경우 현재까지 선택된 상기 참석자 영상의 품질을 일괄적으로 변경한다. 만약, 상기 추정되는 네트워크 사용 대역폭의 크기가 변화된 상기 네트워크의 성능에 대응되는 품질 변화 조건을 만족하지 않는 것으로 판단되는 경우, 품질 제어부(138, 260)는 단계 414로 되돌아가 다른 참석자 영상(예를 들어, 가장 마지막에 선택된 참석자 영상의 다음 참석자 영상)을 추가적으로 선택할 수 있다.
도 5는 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술되지 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.
도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 단말(110, 210) 또는 중계 서버(120, 220)일 수 있다. 컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.
통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.
컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.
한편, 본 발명의 실시예는 본 명세서에서 기술한 방법들을 컴퓨터상에서 수행하기 위한 프로그램, 및 상기 프로그램을 포함하는 컴퓨터 판독 가능 기록매체를 포함할 수 있다. 상기 컴퓨터 판독 가능 기록매체는 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나, 또는 컴퓨터 소프트웨어 분야에서 통상적으로 사용 가능한 것일 수 있다. 컴퓨터 판독 가능 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광 기록 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 프로그램의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
이상에서 대표적인 실시예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 전술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
10 : 컴퓨팅 환경
12 : 컴퓨팅 장치
14 : 프로세서
16 : 컴퓨터 판독 가능 저장 매체
18 : 통신 버스
20 : 프로그램
22 : 입출력 인터페이스
24 : 입출력 장치
26 : 네트워크 통신 인터페이스
100, 200 : 컨퍼런스 시스템
110, 210 : 단말
120, 220 : 중계 서버
132, 252 : 영상 획득부
134, 232, 256 : 네트워크 모니터링부
136, 258 : 영상 분석부
138, 260 : 품질 제어부
234, 254 : 피드백부
240 : 단말 에이전트
302 : 영상 정보 획득부
304 : 발화 정보 획득부
306 : 품질 정보 획득부

Claims (28)

  1. 네트워크를 통해 컨퍼런스에 접속하는 단말로서,
    상기 컨퍼런스에 접속한 복수의 타 단말로부터 수신되는 각 참석자 영상을 획득하는 영상 획득부;
    상기 네트워크의 성능을 모니터링하는 네트워크 모니터링부;
    상기 네트워크의 성능이 변화하는 경우 상기 각 참석자 영상을 분석하여 상기 각 참석자 영상의 영상 정보, 발화 정보 및 품질 정보 중 하나 이상을 획득하는 영상 분석부; 및
    상기 각 참석자 영상의 분석 결과에 따라 상기 각 참석자 영상 중 적어도 일부에 대한 품질을 변화시키는 품질 제어부를 포함하고,
    상기 품질 제어부는, 상기 각 참석자 영상 중 하나 이상을 선택하며, 선택된 상기 참석자 영상의 품질을 변화시켰을 때 추정되는 네트워크 사용 대역폭의 크기가 품질 변화 조건을 만족하지 않는 경우 다른 참석자 영상을 추가적으로 선택하고, 상기 네트워크 사용 대역폭의 크기가 상기 품질 변화 조건을 만족하는 경우 현재까지 선택된 상기 참석자 영상의 품질을 변경하는, 단말.
  2. 청구항 1에 있어서,
    상기 네트워크의 성능은, 사용 가능한 총 네트워크 대역폭의 크기인, 단말.
  3. 삭제
  4. 청구항 1에 있어서,
    상기 품질 제어부는, 상기 각 참석자 영상의 분석 결과에 따라 상기 각 참석자 영상의 우선순위 점수를 계산하고, 상기 우선순위 점수에 따라 하나 이상의 참석자 영상을 선택하는, 단말.
  5. 삭제
  6. 청구항 1에 있어서,
    상기 영상 정보는, 상기 참석자 영상에 포함된 참석자 얼굴의 개수, 상기 참석자 영상의 전체 크기 대비 상기 참석자 영상에 포함된 참석자 얼굴의 크기에 대한 비율 및 상기 참석자 영상의 움직임 정도 중 하나 이상을 포함하는, 단말.
  7. 청구항 1에 있어서,
    상기 발화 정보는, 상기 참석자 영상에 포함된 참석자의 현재 발화 여부 및 상기 참석자 영상에 포함된 참석자의 발화 빈도 중 하나 이상을 포함하는, 단말.
  8. 컨퍼런스로의 접속을 위한 복수의 단말과 네트워크를 통해 연결되는 중계 서버로서,
    상기 컨퍼런스에 접속한 상기 복수의 단말로부터 수신되는 각 참석자 영상을 획득하는 영상 획득부;
    상기 네트워크의 성능에 관한 정보를 획득하는 네트워크 모니터링부;
    상기 네트워크의 성능이 변화하는 경우 상기 각 참석자 영상을 분석하여 상기 각 참석자 영상의 영상 정보, 발화 정보 및 품질 정보 중 하나 이상을 획득하는 영상 분석부; 및
    상기 각 참석자 영상의 분석 결과에 따라 상기 각 참석자 영상 중 적어도 일부에 대한 품질을 변화시키는 품질 제어부를 포함하며,
    상기 품질 제어부는, 상기 각 참석자 영상 중 하나 이상을 선택하며, 선택된 상기 참석자 영상의 품질을 변화시켰을 때 추정되는 네트워크 사용 대역폭의 크기가 품질 변화 조건을 만족하지 않는 경우 다른 참석자 영상을 추가적으로 선택하고, 상기 네트워크 사용 대역폭의 크기가 상기 품질 변화 조건을 만족하는 경우 현재까지 선택된 상기 참석자 영상의 품질을 변경하는, 중계 서버.
  9. 청구항 8에 있어서,
    상기 네트워크의 성능은, 사용 가능한 총 네트워크 대역폭의 크기인, 중계 서버.
  10. 삭제
  11. 청구항 8에 있어서,
    상기 품질 제어부는, 상기 각 참석자 영상의 분석 결과에 따라 상기 각 참석자 영상의 우선순위 점수를 계산하고, 상기 우선순위 점수에 따라 하나 이상의 참석자 영상을 선택하는, 중계 서버.
  12. 삭제
  13. 청구항 8에 있어서,
    상기 영상 정보는, 상기 참석자 영상에 포함된 참석자 얼굴의 개수, 상기 참석자 영상의 전체 크기 대비 상기 참석자 영상에 포함된 참석자 얼굴의 크기에 대한 비율 및 상기 참석자 영상의 움직임 정도 중 하나 이상을 포함하는, 중계 서버.
  14. 청구항 8에 있어서,
    상기 발화 정보는, 상기 참석자 영상에 포함된 참석자의 현재 발화 여부 및 상기 참석자 영상에 포함된 참석자의 발화 빈도 중 하나 이상을 포함하는, 중계 서버.
  15. 네트워크를 통해 컨퍼런스에 접속한 단말에서 수행되는 영상 품질 조정 방법으로서,
    상기 컨퍼런스에 접속한 복수의 타 단말로부터 수신되는 각 참석자 영상을 획득하는 단계;
    상기 네트워크의 성능을 모니터링하는 단계;
    상기 네트워크의 성능이 변화하는 경우 상기 각 참석자 영상을 분석하여 상기 각 참석자 영상의 영상 정보, 발화 정보 및 품질 정보 중 하나 이상을 획득하는 단계; 및
    상기 각 참석자 영상의 분석 결과에 따라 상기 각 참석자 영상 중 적어도 일부에 대한 품질을 변화시키는 단계를 포함하고,
    상기 품질을 변화시키는 단계는, 상기 각 참석자 영상 중 하나 이상을 선택하며, 선택된 상기 참석자 영상의 품질을 변화시켰을 때 추정되는 네트워크 사용 대역폭의 크기가 품질 변화 조건을 만족하지 않는 경우 다른 참석자 영상을 추가적으로 선택하고, 상기 네트워크 사용 대역폭의 크기가 상기 품질 변화 조건을 만족하는 경우 현재까지 선택된 상기 참석자 영상의 품질을 변경하는, 영상 품질 조정 방법.
  16. 청구항 15에 있어서,
    상기 네트워크의 성능은, 사용 가능한 총 네트워크 대역폭의 크기인, 영상 품질 조정 방법.
  17. 삭제
  18. 청구항 15에 있어서,
    상기 각 참석자 영상을 하나씩 선택하는 단계는, 상기 각 참석자 영상의 분석 결과에 따라 상기 각 참석자 영상의 우선순위 점수를 계산하고, 상기 우선순위 점수에 따라 하나 이상의 참석자 영상을 선택하는, 영상 품질 조정 방법.
  19. 삭제
  20. 청구항 15에 있어서,
    상기 영상 정보는, 상기 참석자 영상에 포함된 참석자 얼굴의 개수, 상기 참석자 영상의 전체 크기 대비 상기 참석자 영상에 포함된 참석자 얼굴의 크기에 대한 비율 및 상기 참석자 영상의 움직임 정도 중 하나 이상을 포함하는, 영상 품질 조정 방법.
  21. 청구항 15에 있어서,
    상기 발화 정보는, 상기 참석자 영상에 포함된 참석자의 현재 발화 여부 및 상기 참석자 영상에 포함된 참석자의 발화 빈도 중 하나 이상을 포함하는, 영상 품질 조정 방법.
  22. 컨퍼런스로의 접속을 위한 복수의 단말과 네트워크를 통해 연결되는 중계 서버에서 수행되는 영상 품질 조정 방법으로서,
    상기 컨퍼런스에 접속한 상기 복수의 단말로부터 수신되는 각 참석자 영상을 획득하는 단계;
    상기 네트워크의 성능에 관한 정보를 획득하는 단계;
    상기 네트워크의 성능이 변화하는 경우 상기 각 참석자 영상을 분석하여 상기 각 참석자 영상의 영상 정보, 발화 정보 및 품질 정보 중 하나 이상을 획득하는 단계; 및
    상기 각 참석자 영상의 분석 결과에 따라 상기 각 참석자 영상 중 적어도 일부에 대한 품질을 변화시키는 단계를 포함하고,
    상기 품질을 변화시키는 단계는, 상기 각 참석자 영상 중 하나 이상을 선택하며, 선택된 상기 참석자 영상의 품질을 변화시켰을 때 추정되는 네트워크 사용 대역폭의 크기가 품질 변화 조건을 만족하지 않는 경우 다른 참석자 영상을 추가적으로 선택하고, 상기 네트워크 사용 대역폭의 크기가 상기 품질 변화 조건을 만족하는 경우 현재까지 선택된 상기 참석자 영상의 품질을 변경하는, 영상 품질 조정 방법.
  23. 청구항 22에 있어서,
    상기 네트워크의 성능은, 사용 가능한 총 네트워크 대역폭의 크기인, 영상 품질 조정 방법.
  24. 삭제
  25. 청구항 22에 있어서,
    상기 각 참석자 영상을 하나씩 선택하는 단계는, 상기 각 참석자 영상의 분석 결과에 따라 상기 각 참석자 영상의 우선순위 점수를 계산하고, 상기 우선순위 점수에 따라 하나 이상의 참석자 영상을 선택하는, 영상 품질 조정 방법.
  26. 삭제
  27. 청구항 22에 있어서,
    상기 영상 정보는, 상기 참석자 영상에 포함된 참석자 얼굴의 개수, 상기 참석자 영상의 전체 크기 대비 상기 참석자 영상에 포함된 참석자 얼굴의 크기에 대한 비율 및 상기 참석자 영상의 움직임 정도 중 하나 이상을 포함하는, 영상 품질 조정 방법.
  28. 청구항 22에 있어서,
    상기 발화 정보는, 상기 참석자 영상에 포함된 참석자의 현재 발화 여부 및 상기 참석자 영상에 포함된 참석자의 발화 빈도 중 하나 이상을 포함하는, 영상 품질 조정 방법.
KR1020180060700A 2018-05-28 2018-05-28 영상 품질 조정 방법과 이를 수행하기 위한 단말 및 중계 서버 KR102460538B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020180060700A KR102460538B1 (ko) 2018-05-28 2018-05-28 영상 품질 조정 방법과 이를 수행하기 위한 단말 및 중계 서버
PCT/KR2019/006142 WO2019231165A1 (ko) 2018-05-28 2019-05-22 영상 품질 조정 방법과 이를 수행하기 위한 단말 및 중계 서버
EP19812639.3A EP3687163A4 (en) 2018-05-28 2019-05-22 PROCEDURE FOR ADJUSTING THE IMAGE QUALITY AND THE TERMINAL DEVICE AND RELAY SERVER FOR PERFORMING THE PROCEDURE
US16/652,891 US10812760B2 (en) 2018-05-28 2019-05-22 Method for adjusting image quality and terminal and relay server for performing same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180060700A KR102460538B1 (ko) 2018-05-28 2018-05-28 영상 품질 조정 방법과 이를 수행하기 위한 단말 및 중계 서버

Publications (2)

Publication Number Publication Date
KR20190135340A KR20190135340A (ko) 2019-12-06
KR102460538B1 true KR102460538B1 (ko) 2022-10-28

Family

ID=68698675

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180060700A KR102460538B1 (ko) 2018-05-28 2018-05-28 영상 품질 조정 방법과 이를 수행하기 위한 단말 및 중계 서버

Country Status (4)

Country Link
US (1) US10812760B2 (ko)
EP (1) EP3687163A4 (ko)
KR (1) KR102460538B1 (ko)
WO (1) WO2019231165A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210144117A (ko) * 2020-05-21 2021-11-30 삼성전자주식회사 멀티미디어 콘텐츠를 제공하는 방법 및 그 전자 장치
KR102297262B1 (ko) 2020-07-16 2021-09-03 한국과학기술연구원 하이브리드 해상도를 가진 영상 데이터 전송 방법 및 이를 이용한 하이브리드 해상도 영상 생성 방법
KR102374241B1 (ko) * 2020-07-29 2022-03-15 주식회사 핀그램 화질 향상을 위한 적응적 영상 송신 방법 및 시스템
WO2023021617A1 (ja) * 2021-08-18 2023-02-23 日本電信電話株式会社 Ｗｅｂ会議映像品質推定装置、Ｗｅｂ会議映像品質推定方法、及びプログラム
KR20230029122A (ko) * 2021-08-23 2023-03-03 삼성전자주식회사 영상 통화를 수행하는 동안 복수의 이미지 스트림을 전송하는 전자 장치 및 전자 장치의 동작 방법
CN115119010B (zh) * 2022-06-29 2023-07-25 北京奇艺世纪科技有限公司 连麦方法、装置、电子设备和存储介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6665002B2 (en) * 2001-05-11 2003-12-16 Leadtek Research Inc. Real-time video/audio quality adjustment method
AU2002357144A1 (en) 2001-12-15 2003-06-30 Thomson Licensing S.A. Quality of service setup on a time reservation basis
US20050099492A1 (en) * 2003-10-30 2005-05-12 Ati Technologies Inc. Activity controlled multimedia conferencing
US8773494B2 (en) 2006-08-29 2014-07-08 Microsoft Corporation Techniques for managing visual compositions for a multimedia conference call
KR100910599B1 (ko) * 2006-11-20 2009-08-03 (주)디디오넷 화면 분할정보 기반 화상 데이터 품질 조절 기능을 가지는화상회의 시스템 및 그 방법
KR20110052186A (ko) 2009-11-12 2011-05-18 이유진 온라인망을 기반으로 하는 화상품질 컨트롤장치
US8446455B2 (en) 2010-12-08 2013-05-21 Cisco Technology, Inc. System and method for exchanging information in a video conference environment
US8832284B1 (en) * 2011-06-16 2014-09-09 Google Inc. Virtual socializing
EP3127285B1 (en) * 2014-03-31 2021-03-03 Polycom, Inc. Method and systems for optimizing bandwidth utilization in a multi-participant full mesh peer-to-peer video session
KR20160099977A (ko) * 2015-02-13 2016-08-23 한국전자통신연구원 영상회의 서비스를 위한 데이터 처리 장치 및 데이터 처리 방법
JP6651989B2 (ja) * 2015-08-03 2020-02-19 株式会社リコー 映像処理装置、映像処理方法、及び映像処理システム
KR101840594B1 (ko) 2017-03-15 2018-03-20 한국전자통신연구원 영상 회의 참여도 평가 방법
US20180270452A1 (en) * 2017-03-15 2018-09-20 Electronics And Telecommunications Research Institute Multi-point connection control apparatus and method for video conference service

Also Published As

Publication number Publication date
EP3687163A4 (en) 2021-03-24
KR20190135340A (ko) 2019-12-06
US10812760B2 (en) 2020-10-20
US20200296331A1 (en) 2020-09-17
EP3687163A1 (en) 2020-07-29
WO2019231165A1 (ko) 2019-12-05

Similar Documents

Publication Publication Date Title
KR102460538B1 (ko) 영상 품질 조정 방법과 이를 수행하기 위한 단말 및 중계 서버
US11019308B2 (en) Speaker anticipation
EP3282669B1 (en) Private communications in virtual meetings
US9894320B2 (en) Information processing apparatus and image processing system
JP5450574B2 (ja) ビデオテレフォニーに関する関心領域処理
US8289363B2 (en) Video conferencing
US9509741B2 (en) Snapshot capture for a communication session
US20130208663A1 (en) Bandwidth allocation for multimedia conferencing
US10015385B2 (en) Enhancing video conferences
TW201236468A (en) Video switching system and method
US20180048683A1 (en) Private communications in virtual meetings
JP2016046705A (ja) 会議録編集装置、その方法とプログラム、会議録再生装置、および会議システム
CN107704297A (zh) 服务提供方法、服务提供装置、对象显示方法及用户终端
US9368127B2 (en) Method and device for providing distributed telepresence service
US9354697B2 (en) Detecting active region in collaborative computing sessions using voice information
CN114222147B (zh) 直播布局调整方法、装置、存储介质及计算机设备
US11877084B2 (en) Video conference user interface layout based on face detection
US10182207B2 (en) Handling nuisance in teleconference system
JP4054775B2 (ja) ビデオ会議システムにおける映像表示方法及び映像表示制御方法、ビデオ会議システムに用いられる利用者端末及びサーバコンピュータ、並びにビデオ会議システムに用いられる利用者端末用プログラム及びサーバコンピュータ用プログラム
US8782271B1 (en) Video mixing using video speech detection
Baskaran et al. Dominant speaker detection in multipoint video communication using Markov chain with non-linear weights and dynamic transition window
KR20180105594A (ko) 영상 회의 서비스를 위한 다지점 접속 제어 장치 및 방법
CN114727050B (zh) 一种多人连麦直播会议的视频数据生成方法及装置
JP2009015755A (ja) 職場活性化システム、方法、及びプログラム
JP2012199911A (ja) 情報処理装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant