KR20170072782A - 초고화질을 지원하는 지능형 영상 회의 제공 방법 - Google Patents

초고화질을 지원하는 지능형 영상 회의 제공 방법 Download PDF

Info

Publication number
KR20170072782A
KR20170072782A KR1020160116517A KR20160116517A KR20170072782A KR 20170072782 A KR20170072782 A KR 20170072782A KR 1020160116517 A KR1020160116517 A KR 1020160116517A KR 20160116517 A KR20160116517 A KR 20160116517A KR 20170072782 A KR20170072782 A KR 20170072782A
Authority
KR
South Korea
Prior art keywords
presenter
group
audience
conference
video
Prior art date
Application number
KR1020160116517A
Other languages
English (en)
Inventor
최승한
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Publication of KR20170072782A publication Critical patent/KR20170072782A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/155—Conference systems involving storage of or access to video conference sessions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/152—Multipoint control units therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Abstract

본 발명의 실시 예들은 영상 회의 제공 방법에 관한 것으로, 본 발명의 일 실시 예에 따른 지능형 영상 회의 제공 방법, 방청자 그룹에 속하는 방청자로부터 발표자로 전환하여 줄 것이 요청되는 경우, 발표자 그룹의 제한 수가 초과되는지 여부를 확인하는 단계; 발표자 그룹의 제한 수가 초과되는 경우, 발표자들로부터 수신된 영상을 분석하여 부재 중인 발표자가 있는 경우 해당 발표자를 발표자 그룹에서 제외시키고 상기 방청자를 발표자 그룹에 포함시키는 단계; 및 부재 중인 발표자가 없는 경우, 발표자들로부터 수신된 음성을 분석하여 회의 참여도가 가장 낮은 발표자를 발표자 그룹에서 제외시키고 상기 방청자를 발표자 그룹에 포함시키는 단계를 포함한다. 본 발명의 실시 예들에 따르면, 발표자와 방청자 간의 전환이 용이하게 이루어질 수 있다.

Description

초고화질을 지원하는 지능형 영상 회의 제공 방법{Intelligent video conference providing method supporting high resolution}
본 발명의 실시 예들은, 영상 회의 제공 방법에 관한 것이다.
일반적인 영상 회의 서비스에서는 영상 회의 클라이언트를 발표자(패널) 그룹과 방청자 그룹으로 분류하고, 다지점 영상 회의 제어 장치의 믹싱 성능만큼 발표자 그룹에 참여 할 있는 클라이언트의 수를 지정한다. 영상 회의 서비스에 참가하는 영상 회의 클라이언트는, 발표 권한이 있는 발표자 그룹 및 방청 권한만 있는 방청자 그룹 중 어느 하나에 속할 수 있다. 만약, 방청자 그룹에 속하는 영상 회의 클라이언트(방청자)가 발표자 그룹으로 전환하고자 하는 경우에는 의장의 허락이 있어야 한다. 이는, 방청자 그룹에 속하는 영상 회의 클라이언트의 자유로운 회의 참여를 제한한다. 또한, 발표자 그룹에 속하는 영상 회의 클라이언트(발표자) 중 영상 회의 화면에 존재하지 않거나 회의 참여도가 낮은 발표자는 방청자 그룹으로 전환하고 회의 집중도가 높은 방청자를 새로운 발표자로 선택해야 할 필요가 있는 데, 종래 방법에 의할 때 이러한 전환이 실시간으로 이루어지지 않는 문제가 있다.
미국 등록 특허 US 6,473,114호 (Method and system for indicating change of speaker in a videoconference application)
본 발명의 실시 예들은, 영상 회의 서비스에 참가하는 발표자와 방청자 간의 전환이 용이하게 수행될 수 있도록 하는 방안을 제공한다.
본 발명의 일 실시 예에 따른 지능형 영상 회의 제공 방법, 방청자 그룹에 속하는 방청자로부터 발표자로 전환하여 줄 것이 요청되는 경우, 발표자 그룹의 제한 수가 초과되는지 여부를 확인하는 단계; 발표자 그룹의 제한 수가 초과되는 경우, 발표자들로부터 수신된 영상을 분석하여 부재 중인 발표자가 있는 경우 해당 발표자를 발표자 그룹에서 제외시키고 상기 방청자를 발표자 그룹에 포함시키는 단계; 및 부재 중인 발표자가 없는 경우, 발표자들로부터 수신된 음성을 분석하여 회의 참여도가 가장 낮은 발표자를 발표자 그룹에서 제외시키고 상기 방청자를 발표자 그룹에 포함시키는 단계를 포함한다.
본 발명의 실시 예들에 따르면, 방청자의 자유로운 회의 참여를 유도할 수 있다.
도 1은 본 발명의 실시 예들이 적용되는 지능형 영상 회의 시스템을 설명하기 위한 예시도,
도 2는 본 발명의 일 실시 예에 따른 영상 회의 화면을 설명하기 위한 예시도,
도 3은 본 발명의 일 실시 예에 따른 발표자와 방청자 간 전환을 설명하기 위한 흐름도,
도 4는 본 발명의 일 실시 예에 따른 회의 참여도 계산 방법을 설명하기 위함 흐름도,
도 5는 본 발명의 일 실시 예에 따른 발표자 부재 여부 확인 방법을 설명하기 위한 흐름도,
도 6은 본 발명의 일 실시 예에 따른 영상 회의 제어 장치를 설명하기 위한 블록도.
이하에서, 본 발명의 실시 예들을 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.
이하, 첨부되는 도면을 참조하여 본 발명의 실시 예들을 설명한다.
도 1은 본 발명의 실시 예들이 적용되는 지능형 영상 회의 시스템을 설명하기 위한 예시도이다.
지능형 영상 회의 시스템은, 발표자 그룹(100), 방청자 그룹(200) 및 영상 회의 제어 장치(300)를 포함한다. 발표자 그룹(100)과 방청자 그룹(200) 각각은 적어도 하나의 영상 회의 클라이언트를 포함할 수 있으며, 영상 회의 제어 장치(300)를 통하여 영상 회의 서비스를 제공받을 수 있다.
영상 회의 제어 장치(300)는, 발표자 그룹(100) 및 방청자 그룹(200)에 속하는 영상 회의 클라이언트와 비디오 패킷 및 오디오 패킷을 송수신할 수 있다. 여기서, 영상 회의 제어 장치(300)는, 발표자 그룹(100)에 속하는 영상 회의 클라이언트의 환경에 따라 저해상도 비디오 패킷을 수신하거나 고해상도 비디오 패킷을 수신할 수 있다. 영상 회의 제어 장치(300)는, 발표자 그룹(100)으로부터 수신된 비디오 패킷을 믹싱하여 회의 영상을 생성하고, 생성된 회의 영상을 발표자 그룹(100) 및 방청자 그룹(200)에 속하는 영상 회의 클라이언트에게 전송할 수 있다. 또한, 영상 회의 제어 장치(300)는, 발표자 그룹(100)으로부터 수신된 오디오 패킷을 믹싱하여 회의 음성을 생성하고, 생성된 회의 음성을 발표자 그룹(100) 및 방청자 그룹(200)에 속하는 영상 회의 클라이언트에게 전송할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 영상 회의 화면을 설명하기 위한 예시도이다.
영상 회의 화면(210)은, 영상 회의 제어 장치에 의하여 생성되어, 발표자 그룹에 속하는 영상 회의 클라이언트 및 방청자 그룹에 속하는 영상 회의 클라이언트에게 제공될 수 있다.
영상 회의 화면(210)은, 발표자 그룹 리스트(230)와 방청자 그룹 리스트(220)를 포함할 수 있다. 발표자 그룹 리스트(230)에는 발표자들의 영상이 포함될 수 있으며, 방청자 그룹 리스트(220)에는 방청자들의 아이디가 포함될 수 있다.
영상 회의 화면(210)은, 발표자로의 전환을 위한 GUI(240)를 포함할 수 있다. 따라서, 방청자는 자신에게 제공되는 영상 회의 화면(210)의 GUI(240)를 이용하여 영상 회의 제어 장치에게 자신을 발표자로 전환하여 줄 것을 요청할 수 있다. 도 2에는 방청자(client 1)가 GUI(240)를 이용하여 발표자로의 전환을 요청한 경우의 예를 도시하였다. 이러한 경우, 영상 회의 제어 장치는, 발표자 그룹에 속하는 어느 하나의 발표자를 방청자로 전환하고, 방청자(client 1)를 발표자로 전환할 수 있다. 예를 들어, 도 2에 도시된 바와 같이, 발표자(client 6)가 부재중이거나 발표자(client 6)의 회의 참여도가 아주 낮은 경우에는 발표자(client 6)를 방청자로 전환하고, 방청자(client 1)를 발표자로 전환할 수 있다.
도 3은 본 발명의 일 실시 예에 따른 발표자와 방청자 간 전환을 설명하기 위한 흐름도이다.
단계(301)에서, 영상 회의 제어 장치는, 방청자 그룹에 속하는 방청자로부터 해당 방청자를 발표자로 전환하여 줄 것을 요청 받을 수 있다.
단계(303)에서, 영상 회의 제어 장치는, 발표자로 전환하여 줄 것을 요청한 방청자를 발표자로 전환할 경우, 발표자 그룹의 제한 수를 초과하는지 여부를 확인할 수 있다. 만약, 발표자 그룹의 제한 수를 초과하는 경우에는 단계(305)로 진행하고, 발표자 그룹의 제한 수를 초과하지 않는다면 단계(311)로 진행하여 해당 방청자를 발표자로 전환함으로써 발표자 그룹에 추가할 수 있다.
단계(305)에서, 영상 회의 제어 장치는, 현재 영상 회의 화면에 부재중인 발표자가 존재하는지 여부를 확인할 수 있다. 만약, 현재 영상 회의 화면에 부재중인 발표자가 존재하지 않는 경우에는 단계(307)로 진행하고, 현재 영상 회의 화면에 부재중인 발표자가 존재하는 경우에는 단계(313)로 진행하여 현재 영상 회의 화면에 부재중인 발표자를 발표자 그룹에서 제외시키고 발표자로 전환하여 줄 것을 요청한 방청자를 발표자로 전환할 수 있다.
단계(307)에서, 영상 회의 제어 장치는, 발표자들의 회의 참여도를 계산할 수 있다. 회의 참여도는, 발표자들의 음성 분석 결과로부터 계산될 수 있다. 이와 관련하여서는, 도 4를 참조하여 좀 더 상세히 설명한다.
단계(309)에서, 영상 회의 제어 장치는, 발표자들 중 회의 참여도가 가장 낮은 발표자를 발표자 그룹에서 제외시키고 방청자로 전환할 수 있다.
단계(311)에서, 영상 회의 제어 장치는, 발표자로 전환하여 줄 것을 요청한 방청자를 발표자로 전환함으로써 발표자 그룹에 추가할 수 있다.
도 4는 본 발명의 일 실시 예에 따른 회의 참여도 계산 방법을 설명하기 위함 흐름도이다.
단계(401)에서, 영상 회의 제어 장치는, 각 발표자들의 음성을 분석하여 음성 활성 구간을 검출할 수 있다.
단계(403)에서, 영상 회의 제어 장치는, 음성 활성 구간이 검출된 발표자에 대응하는 카운터의 카운터 값을 1만큼 증가시킬 수 있다.
단계(405)에서, 영상 회의 제어 장치는, 카운터 값이 소정의 임계 값을 초과하는 카운터가 있는지 여부를 확인할 수 있다. 만약, 카운터 값이 소정의 임계 값을 초과하는 카운터가 없다면 단계(401)로 진행하여 음성 분석을 계속 수행하고, 카운터 값이 소정의 임계 값을 초과하는 카운터가 있다면 단계(407)로 진행할 수 있다.
단계(407)에서, 영상 회의 제어 장치는, 카운터 값이 임계 값을 초과하는 발표자의 음성 활성 시간을 업데이트할 수 있다.
단계(409)에서, 영상 회의 제어 장치는, 업데이트된 음성 활성 시간을 회의 참여도 정보 리스트에 반영할 수 있다. 회의 참여도 정보 리스트는, 발표자들의 음성 활성 시간이 반영된 리스트일 수 있다. 음성 활성 시간을 회의 참여도 정보 리스트에 반영할 때, 가장 최근에 발언을 수행한 발표자(즉, 카운터 값이 가장 최근이 임계 값을 초과한 발표자)를 회의 참여도 정보 리스트의 맨 마지막에 저장할 수 있다. 따라서, 회의 참여도 정보 리스트에 저장된 발표자들 중 가장 맨 앞에 저장된 발표자는 발언을 수행한지가 가장 오래된 발표자가 되고, 해당 발표자는 회의 참여도가 가장 낮은 발표자라 할 수 있다. 따라서, 도 3을 참조하여 설명한 단계(309)에서, 회의 참여도 정보 리스트의 맨 마지막에 저장된 발표자가 발표자 그룹에서 제외된다.
도 5는 본 발명의 일 실시 예에 따른 발표자 부재 여부 확인 방법을 설명하기 위한 흐름도이다.
단계(501)에서, 영상 회의 제어 장치는, 각 발표자들로부터 수신되는 영상을 분석하고, 해당 영상에 얼굴 인식 알고리즘 등의 인식 알고리즘을 적용하여 발표자를 검출할 수 있다.
단계(503)에서, 영상 회의 제어 장치는, 발표자들로부터 수신된 영상 중 발표자가 검출되지 않은 영상이 있는지 확인할 수 있다. 만약, 발표자가 검출되지 않은 영상이 있는 경우 단계(505)로 진행할 수 있다.
단계(505)에서, 영상 회의 제어 장치는, 발표자가 검출되지 않은 영상에 대응하는 발표자를 부재중인 발표자로 결정할 수 있다. 따라서, 도 3을 참조하여 설명한 단계(305)에서, 부재중인 발표자가 발표자 그룹에서 제외되어 방청자로 전환될 수 있다.
도 6은 본 발명의 일 실시 예에 따른 영상 회의 제어 장치를 설명하기 위한 블록도이다.
도 6을 참조하면, 본 발명의 일 실시 예에 따른 영상 회의 제어 장치는, 제어부(310), 영상 기반 회의 참여도 처리부(320), 음성 기반 회의 참여도 처리부(330), 미디어 처리부(340) 및 통신부(350)를 포함한다.
제어부(310)는, 방청자 그룹에 속하는 방청자로부터 해당 방청자를 발표자로 전환하여 줄 것을 요청받으면, 발표자 그룹의 제한 수를 초과하는지 여부를 확인할 수 있다. 만약, 발표자 그룹의 제한 수를 초과하지 않는다면 해당 방청자를 발표자로 전환함으로써 발표자 그룹에 추가할 수 있다. 만약, 발표자 그룹의 제한 수를 초과하는 경우에는 영상 기반 회의 참여도 처리부(320)에게 부재중인 발표자가 있는지 확인하고, 부재중인 발표자가 있다면 해당 발표자를 발표자 그룹에서 제외하고, 발표자로의 전환을 요청한 방청자를 발표자로 전환할 수 있다. 만약, 부재중인 발표자가 없는 경우에는 음성 기반 회의 참여도 처리부(330)에게 참여도가 가장 낮은 발표자를 확인하고, 해당 발표자를 발표자 그룹에서 제외하고, 발표자로의 전환을 요청한 방청자를 발표자로 전환할 수 있다.
영상 기반 회의 참여도 처리부(320)는, 발표자들로부터 수신된 영상을 분석하여 발표자가 검출되지 않는 영상이 있는지 확인하고, 발표자가 검출되지 않은 영상에 대응하는 발표자를 제어부(310)에게 알릴 수 있다.
음성 기반 회의 참여도 처리부(330)는, 발표자들로부터 수신된 음성을 분석하여 음성 활성 구간을 검출하고, 검출된 음성 활성 구간이 소정의 임계 값을 초과하는 발표자를 회의 참여도 정보 리스트의 맨 마지막에 저장할 수 있다. 음성 기반 회의 참여도 처리부(330)는, 제어부(310)로부터 요청 시에 회의 참여도 정보 리스트의 맨 처음에 위치하는 발표자를 제어부(310)에게 알려줄 수 있다.
미디어 처리부(340)는, 발표자 및 방청자로부터 수신된 또는 발표자 및 방청자에게 송신할 영상 및 음성을 믹싱하거나 디믹싱할 수 있다.
통신부(350)는, 영상 회의에 참여하는 발표자 및 방청자와 영상 및 음성을 송수신할 수 있다. 통신부(350)는, SIP/SDP와 같은 프로토콜을 이용하여 발표자 및 방청자와 통신을 수행할 수 있다.
이상에서 설명된 본 발명의 실시 예들은 임의의 다양한 방법으로 구현될 수 있다. 예를 들어, 본 발명의 실시 예들은 하드웨어, 소프트웨어 또는 그 조합을 이용하여 구현될 수 있다. 소프트웨어로 구현되는 경우에, 다양한 운영 체제 또는 플랫폼을 이용하는 하나 이상의 프로세서 상에서 실행되는 소프트웨어로서 구현될 수 있다. 추가적으로, 그러한 소프트웨어는 다수의 적합한 프로그래밍 언어들 중에서 임의의 것을 사용하여 작성될 수 있고, 또한 프레임워크 또는 가상 머신에서 실행 가능한 기계어 코드 또는 중간 코드로 컴파일 될 수 있다.
또한, 본 발명의 실시 예들이 하나 이상의 프로세서 상에서 실행되는 경우 이상에서 논의된 본 발명의 다양한 실시 예들을 구현하는 방법을 수행하기 위한 하나 이상의 프로그램이 기록된 프로세서 판독 가능 매체(예를 들어, 메모리, 플로피 디스크, 하드 디스크, 콤팩트 디스크, 광학 디스크 또는 자기 테이프 등)로 구현될 수 있다.

Claims (1)

  1. 방청자 그룹에 속하는 방청자로부터 발표자로 전환하여 줄 것이 요청되는 경우, 발표자 그룹의 제한 수가 초과되는지 여부를 확인하는 단계;
    발표자 그룹의 제한 수가 초과되는 경우, 발표자들로부터 수신된 영상을 분석하여 부재 중인 발표자가 있는 경우 해당 발표자를 발표자 그룹에서 제외시키고 상기 방청자를 발표자 그룹에 포함시키는 단계; 및
    부재 중인 발표자가 없는 경우, 발표자들로부터 수신된 음성을 분석하여 회의 참여도가 가장 낮은 발표자를 발표자 그룹에서 제외시키고 상기 방청자를 발표자 그룹에 포함시키는 단계
    를 포함하는 지능형 영상 회의 제공 방법.
KR1020160116517A 2015-12-16 2016-09-09 초고화질을 지원하는 지능형 영상 회의 제공 방법 KR20170072782A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20150180423 2015-12-16
KR1020150180423 2015-12-16

Publications (1)

Publication Number Publication Date
KR20170072782A true KR20170072782A (ko) 2017-06-27

Family

ID=59514862

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160116517A KR20170072782A (ko) 2015-12-16 2016-09-09 초고화질을 지원하는 지능형 영상 회의 제공 방법

Country Status (1)

Country Link
KR (1) KR20170072782A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110365931A (zh) * 2019-07-05 2019-10-22 聚好看科技股份有限公司 多方通话的控制方法及装置、电子设备、存储介质
US10681308B2 (en) 2018-04-17 2020-06-09 Samsung Electronics Co., Ltd. Electronic apparatus and method for controlling thereof

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10681308B2 (en) 2018-04-17 2020-06-09 Samsung Electronics Co., Ltd. Electronic apparatus and method for controlling thereof
CN110365931A (zh) * 2019-07-05 2019-10-22 聚好看科技股份有限公司 多方通话的控制方法及装置、电子设备、存储介质

Similar Documents

Publication Publication Date Title
US9325940B2 (en) Video class room
US8477174B2 (en) Automatic video switching for multimedia conferencing
EP2454844B1 (en) Systems, methods, and media for identifying and associating user devices with media cues
US20090123035A1 (en) Automated Video Presence Detection
US8264521B2 (en) Media detection and packet distribution in a multipoint conference
RU2595263C1 (ru) Способ медийного взаимодействия, устройство и система осуществления конференц-связи в многопоточном режиме
WO2016127691A1 (zh) 一种播报多媒体会议中动态信息的方法及装置
US8848021B2 (en) Remote participant placement on a unit in a conference room
JP2008022552A (ja) 会議方法および会議システム
US20120259924A1 (en) Method and apparatus for providing summary information in a live media session
CN110493554B (zh) 一种发言终端的切换方法及系统
TW201236468A (en) Video switching system and method
CN109743524B (zh) 一种视联网的数据处理方法和一种视联网系统
US20230343343A1 (en) Autocorrection of pronunciations of keywords in audio/videoconferences
CN110933485A (zh) 一种视频字幕生成方法、系统、装置和存储介质
KR20170072782A (ko) 초고화질을 지원하는 지능형 영상 회의 제공 방법
KR20170072783A (ko) 다자간 회의 서비스에서의 채널 상태 적응형 오디오 믹싱 방법
US11683442B2 (en) Methods, systems and apparatus for providing video communications
Nguyen et al. ITEM: Immersive telepresence for entertainment and meetings—A practical approach
JP2007251501A (ja) テレビ会議システム及びテレビ会議方法
JP6668828B2 (ja) 会議システム
US10182207B2 (en) Handling nuisance in teleconference system
KR100953509B1 (ko) 다자간 영상 통신 방법.
US20170085605A1 (en) Object-based teleconferencing protocol
JP2002158983A (ja) マルチキャストテレビ会議端末装置、及びテレビ会議システム