KR102501233B1 - 화상 회의 서비스 방법 및 이를 수행하기 위한 장치 - Google Patents

화상 회의 서비스 방법 및 이를 수행하기 위한 장치 Download PDF

Info

Publication number
KR102501233B1
KR102501233B1 KR1020180125954A KR20180125954A KR102501233B1 KR 102501233 B1 KR102501233 B1 KR 102501233B1 KR 1020180125954 A KR1020180125954 A KR 1020180125954A KR 20180125954 A KR20180125954 A KR 20180125954A KR 102501233 B1 KR102501233 B1 KR 102501233B1
Authority
KR
South Korea
Prior art keywords
computing device
relay server
data
video conference
voice data
Prior art date
Application number
KR1020180125954A
Other languages
English (en)
Other versions
KR20200045205A (ko
Inventor
정지원
윤희태
강준호
김상범
김대우
안호성
김재구
Original Assignee
삼성에스디에스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성에스디에스 주식회사 filed Critical 삼성에스디에스 주식회사
Priority to KR1020180125954A priority Critical patent/KR102501233B1/ko
Publication of KR20200045205A publication Critical patent/KR20200045205A/ko
Application granted granted Critical
Publication of KR102501233B1 publication Critical patent/KR102501233B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Telephonic Communication Services (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

화상 회의 서비스 방법 및 이를 수행하기 위한 컴퓨팅 장치가 개시된다. 개시되는 일 실시예에 따른 컴퓨팅 장치는, 하나 이상의 프로세서들, 및 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비하며, 화상 회의에 참석한 참석자의 컴퓨팅 장치로서, 컴퓨팅 장치의 네트워크 상태 및 컴퓨팅 장치의 자원 성능 중 하나 이상을 모니터링 하는 모니터링부 및 컴퓨팅 장치의 네트워크 상태 및 자원 성능 중 하나 이상에 따라 화상 회의 데이터 중 음성 데이터의 송신 형태 및 송신 방식 중 하나 이상을 결정하는 결정부를 포함한다.

Description

화상 회의 서비스 방법 및 이를 수행하기 위한 장치{METHOD FOR SERVICE VIDEO CONFERENCE AND APPARATUS FOR EXECUTING THE METHOD}
본 발명의 실시예는 화상 회의 기술과 관련된다.
화상 회의(Video conference)란 2인 이상의 회의 참석자가 디스플레이 및 카메라를 이용하여 원격에서 회의를 수행하는 원격 통신 시스템이다. 이러한 화상 회의를 이용할 경우 서로 다른 장소에 있는 사람들이 편리하게 협업을 수행할 수 있다.
화상 회의 중 특정한 회의 참석자 단말의 네트워크 환경이 영상 및 음성 데이터의 송수신을 위한 필요 수준을 만족하지 못하는 경우, 해당 회의 참석자는 화상 회의 내용을 원활하게 공유할 수 없게 된다. 특히, 영상 및 음성 데이터는 데이터의 실시간성 보장이 중요하기 때문에, 전송 속도가 상대적으로 빠른 비 전송 보장 방식으로 데이터를 보내는 경우가 많다.
이때, 회의 참석자 단말의 네트워크 환경에서 패킷의 손실, 패킷의 지연, 사용 가능 대역폭 감소, 패킷의 순서 변경 등이 발생하여 영상 및 음성 데이터의 송수신을 위한 필요 수준을 만족하지 못하게 되면, 회의 참석자는 수 초간 인지할 수 없는 정도의 영상 및 음성 데이터를 공유 받게 되거나, 아예 영상 및 음성 데이터를 받지 못하는 경우도 발생하게 된다.
특히, 참석자 한 명이 발화 중일 때 음성 데이터의 수 초간의 손실은 회의 내용의 맥락을 이해할 수 있는 중요한 정보의 누락으로 이어져 화상 회의의 효율성을 떨어뜨리는 요인이 된다.
한국공개특허공보 제10-2014-0098573호(2014.08.08)
개시되는 실시예들은 네트워크 환경이 열악한 경우에도 회의 참석자들이 회의 내용을 원활히 공유할 수 있도록 하는 화상 회의 서비스 방법 및 이를 수행하기 위한 장치를 제공하기 위한 것이다.
개시되는 일 실시예에 따른 컴퓨팅 장치는, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비하며, 화상 회의에 참석한 참석자의 컴퓨팅 장치로서, 상기 컴퓨팅 장치의 네트워크 상태 및 상기 컴퓨팅 장치의 자원 성능 중 하나 이상을 모니터링 하는 모니터링부; 및 상기 컴퓨팅 장치의 네트워크 상태 및 자원 성능 중 하나 이상에 따라 화상 회의 데이터 중 음성 데이터의 송신 형태 및 송신 방식 중 하나 이상을 결정하는 결정부를 포함한다.
상기 컴퓨팅 장치는, 상기 컴퓨팅 장치의 네트워크 상태가 기 설정된 수준 이상인 경우, 상기 음성 데이터를 비 전송 보장 방식으로 상기 화상 회의의 중계 서버로 송신하는 통신부를 더 포함할 수 있다.
상기 컴퓨팅 장치는, 상기 컴퓨팅 장치의 네트워크 상태가 기 설정된 수준 미만이고, 상기 컴퓨팅 장치의 자원 성능이 기 설정된 수준 이상인 경우, 상기 음성 데이터를 텍스트 데이터로 변환하는 변환부; 및 상기 변환된 텍스트 데이터를 전송 보장 방식으로 상기 화상 회의의 중계 서버로 송신하는 통신부를 더 포함할 수 있다.
상기 컴퓨팅 장치는, 상기 컴퓨팅 장치의 네트워크 상태가 기 설정된 수준 미만이고, 상기 컴퓨팅 장치의 자원 성능이 기 설정된 수준 미만인 경우, 상기 음성 데이터를 텍스트 데이터로 변환해줄 것을 상기 화상 회의의 중계 서버로 요청하는 요청부; 및 상기 음성 데이터를 전송 보장 방식으로 상기 중계 서버로 송신하는 통신부를 더 포함할 수 있다.
상기 모니터링부는, 상기 컴퓨팅 장치의 네트워크 상태가 상기 화상 회의 데이터 중 음성 데이터를 상기 화상 회의의 중계 서버로 전송할 수 있는 수준인지 여부를 확인하고, 상기 컴퓨팅 장치의 자원 성능이 STT(Speech to Text) 작업을 수행할 수 있는 수준인지 여부를 확인할 수 있다.
개시되는 다른 실시예에 따른 컴퓨팅 장치는, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비하며, 화상 회의에 참석한 참석자의 컴퓨팅 장치로서, 상기 컴퓨팅 장치의 네트워크 상태를 모니터링 하는 모니터링부; 및 상기 컴퓨팅 장치의 네트워크 상태 및 상기 화상 회의의 중계 서버의 데이터 수신 형태 중 하나 이상에 따라 화상 회의 데이터 중 음성 데이터의 수신 형태 및 수신 방식 중 하나 이상을 결정하는 결정부를 포함한다.
상기 컴퓨팅 장치는, 상기 컴퓨팅 장치의 네트워크 상태가 기 설정된 수준 이상인 경우, 상기 음성 데이터를 비 전송 보장 방식으로 전송해줄 것을 상기 중계 서버로 요청하는 요청부; 및 상기 중계 서버가 다른 컴퓨팅 장치로부터 상기 음성 데이터를 수신 중인 경우, 상기 중계 서버로부터 상기 음성 데이터를 비 전송 보장 방식으로 수신하는 통신부를 더 포함할 수 있다.
상기 컴퓨팅 장치는, 상기 컴퓨팅 장치의 네트워크 상태가 기 설정된 수준 이상인 경우, 상기 음성 데이터를 비 전송 보장 방식으로 전송해줄 것을 상기 중계 서버로 요청하는 요청부를 더 포함하고, 상기 요청부는, 상기 중계 서버가 다른 컴퓨팅 장치로부터 상기 음성 데이터를 텍스트 형태의 데이터로 수신 중인 경우, 상기 음성 데이터를 텍스트 형태의 데이터 및 전송 보장 방식으로 전송해줄 것을 상기 중계 서버로 요청할 수 있다.
상기 컴퓨팅 장치는, 상기 컴퓨팅 장치의 네트워크 상태가 기 설정된 수준 미만인 경우, 상기 음성 데이터를 텍스트 형태의 데이터 및 전송 보장 방식으로 전송해줄 것을 상기 중계 서버로 요청하는 요청부; 및 상기 중계 서버가 다른 컴퓨팅 장치로부터 상기 음성 데이터를 텍스트 형태의 데이터로 수신 중인 경우, 상기 중계 서버로부터 상기 텍스트 데이터를 전송 보장 방식으로 수신하는 통신부를 더 포함할 수 있다.
상기 컴퓨팅 장치는, 상기 컴퓨팅 장치의 네트워크 상태가 기 설정된 수준 미만인 경우, 상기 음성 데이터를 텍스트 형태의 데이터 및 전송 보장 방식으로 전송해줄 것을 상기 중계 서버로 요청하는 요청부를 더 포함하고, 상기 요청부는, 상기 중계 서버가 다른 컴퓨팅 장치로부터 상기 음성 데이터를 수신 중인 경우, 상기 음성 데이터를 텍스트 데이터로 변환하고, 변환된 텍스트 데이터를 전송 보장 방식으로 전송해달라는 요청을 상기 중계 서버로 전송하며, 상기 컴퓨팅 장치는, 상기 중계 서버로부터 상기 변환된 텍스트 데이터를 전송 보장 방식으로 수신하는 통신부를 더 포함할 수 있다.
개시되는 일 실시예에 따른 화상 회의 서비스 방법은, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비하며, 화상 회의에 참석한 참석자의 컴퓨팅 장치에서 수행되는 방법으로서, 상기 컴퓨팅 장치의 네트워크 상태 및 상기 컴퓨팅 장치의 자원 성능 중 하나 이상을 모니터링 하는 단계; 및 상기 컴퓨팅 장치의 네트워크 상태 및 자원 성능 중 하나 이상에 따라 화상 회의 데이터 중 음성 데이터의 송신 형태 및 송신 방식 중 하나 이상을 결정하는 단계를 포함한다.
상기 화상 회의 서비스 방법은, 상기 컴퓨팅 장치의 네트워크 상태가 기 설정된 수준 이상인 경우, 상기 음성 데이터를 비 전송 보장 방식으로 상기 화상 회의의 중계 서버로 송신하는 단계를 더 포함할 수 있다.
상기 화상 회의 서비스 방법은, 상기 컴퓨팅 장치의 네트워크 상태가 기 설정된 수준 미만이고, 상기 컴퓨팅 장치의 자원 성능이 기 설정된 수준 이상인 경우, 상기 음성 데이터를 텍스트 데이터로 변환하는 단계; 및 상기 변환된 텍스트 데이터를 전송 보장 방식으로 상기 화상 회의의 중계 서버로 송신하는 단계를 더 포함할 수 있다.
상기 화상 회의 서비스 방법은, 상기 컴퓨팅 장치의 네트워크 상태가 기 설정된 수준 미만이고, 상기 컴퓨팅 장치의 자원 성능이 기 설정된 수준 미만인 경우, 상기 음성 데이터를 텍스트 데이터로 변환해줄 것을 상기 화상 회의의 중계 서버로 요청하는 단계; 및 상기 음성 데이터를 전송 보장 방식으로 상기 중계 서버로 송신하는 단계를 더 포함할 수 있다.
상기 모니터링 하는 단계는, 상기 컴퓨팅 장치의 네트워크 상태가 상기 화상 회의 데이터 중 음성 데이터를 상기 화상 회의의 중계 서버로 전송할 수 있는 수준인지 여부를 확인하고, 상기 컴퓨팅 장치의 자원 성능이 STT(Speech to Text) 작업을 수행할 수 있는 수준인지 여부를 확인할 수 있다.
개시되는 다른 실시예에 따른 화상 회의 서비스 방법은, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비하며, 화상 회의에 참석한 참석자의 컴퓨팅 장치에서 수행되는 방법으로서, 상기 컴퓨팅 장치의 네트워크 상태를 모니터링 하는 단계; 및 상기 컴퓨팅 장치의 네트워크 상태 및 상기 화상 회의의 중계 서버의 데이터 수신 형태 중 하나 이상에 따라 화상 회의 데이터 중 음성 데이터의 수신 형태 및 수신 방식 중 하나 이상을 결정하는 단계를 포함한다.
상기 화상 회의 서비스 방법은, 상기 컴퓨팅 장치의 네트워크 상태가 기 설정된 수준 이상인 경우, 상기 음성 데이터를 비 전송 보장 방식으로 전송해줄 것을 상기 중계 서버로 요청하는 단계; 및 상기 중계 서버가 다른 컴퓨팅 장치로부터 상기 음성 데이터를 수신 중인 경우, 상기 중계 서버로부터 상기 음성 데이터를 비 전송 보장 방식으로 수신하는 단계를 더 포함할 수 있다.
상기 화상 회의 서비스 방법은, 상기 컴퓨팅 장치의 네트워크 상태가 기 설정된 수준 이상인 경우, 상기 음성 데이터를 비 전송 보장 방식으로 전송해줄 것을 상기 중계 서버로 요청하는 단계; 상기 중계 서버가 다른 컴퓨팅 장치로부터 상기 음성 데이터를 텍스트 형태의 데이터로 수신 중인 경우, 상기 음성 데이터를 텍스트 형태의 데이터 및 전송 보장 방식으로 전송해줄 것을 상기 중계 서버로 요청하는 단계; 및 상기 중계 서버로부터 상기 텍스트 데이터를 전송 보장 방식으로 수신하는 단계를 더 포함할 수 있다.
상기 화상 회의 서비스 방법은, 상기 컴퓨팅 장치의 네트워크 상태가 기 설정된 수준 미만인 경우, 상기 음성 데이터를 텍스트 형태의 데이터 및 전송 보장 방식으로 전송해줄 것을 상기 중계 서버로 요청하는 단계; 및 상기 중계 서버가 다른 컴퓨팅 장치로부터 상기 음성 데이터를 텍스트 형태의 데이터로 수신 중인 경우, 상기 중계 서버로부터 상기 텍스트 데이터를 전송 보장 방식으로 수신하는 단계를 더 포함할 수 있다.
상기 화상 회의 서비스 방법은, 상기 컴퓨팅 장치의 네트워크 상태가 기 설정된 수준 미만인 경우, 상기 음성 데이터를 텍스트 형태의 데이터 및 전송 보장 방식으로 전송해줄 것을 상기 중계 서버로 요청하는 단계; 상기 중계 서버가 다른 컴퓨팅 장치로부터 상기 음성 데이터를 수신 중인 경우, 상기 음성 데이터를 텍스트 데이터로 변환하고, 변환된 텍스트 데이터를 전송 보장 방식으로 전송해달라는 요청을 상기 중계 서버로 전송하는 단계; 및 상기 중계 서버로부터 상기 변환된 텍스트 데이터를 전송 보장 방식으로 수신하는 단계를 더 포함할 수 있다.
개시되는 실시예에 의하면, 화상 회의 참석자의 단말기의 네트워크 상태에 따라 화상 회의 데이터 중 음성 데이터를 텍스트 데이터로 변환하여 전송해줌으로써, 화상 회의의 다른 참석자가 발화 내용의 손실 없이 회의 내용을 지속적으로 공유할 수 있게 된다.
또한, STT 작업이 참석자의 단말기에서 수행될 수 없는 상태에서는 중계 서버로 대체 수행을 요청하고, 데이터 전송 방식을 비 전송 보장 방식에서 전송 보장 방식으로 변경함으로써, 음성 데이터의 원본 데이터를 보존하여 STT 작업의 정확도를 향상시킬 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른 화상 회의 시스템의 구성을 나타낸 도면
도 2는 본 발명의 일 실시예에 따른 제1 클라이언트 장치의 구성을 나타낸 블록도
도 3은 본 발명의 일 실시예에 따른 제2 클라이언트 장치의 구성을 나타낸 블록도
도 4는 본 발명의 일 실시예에 따른 화상 회의 방법을 설명하기 위한 흐름도
도 5는 본 발명의 다른 실시예에 따른 화상 회의 방법을 설명하기 위한 흐름도
도 6은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도
이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
이하의 설명에 있어서, 신호 또는 정보의 "전송", "통신", "송신", "수신" 기타 이와 유사한 의미의 용어는 일 구성요소에서 다른 구성요소로 신호 또는 정보가 직접 전달되는 것뿐만이 아니라 다른 구성요소를 거쳐 전달되는 것도 포함한다. 특히 신호 또는 정보를 일 구성요소로 "전송" 또는 "송신"한다는 것은 그 신호 또는 정보의 최종 목적지를 지시하는 것이고 직접적인 목적지를 의미하는 것이 아니다. 이는 신호 또는 정보의 "수신"에 있어서도 동일하다. 또한 본 명세서에 있어서, 2 이상의 데이터 또는 정보가 "관련"된다는 것은 하나의 데이터(또는 정보)를 획득하면, 그에 기초하여 다른 데이터(또는 정보)의 적어도 일부를 획득할 수 있음을 의미한다.
또한, 제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.
개시되는 실시예들에서는, 화상 회의 중 네트워크 환경이 열악한 클라이언트 장치들도 화상 회의 내용을 공유할 수 있도록 하기 위해, STT(Speech to Text) 기술 및 TTS(Text to Speech) 기술을 활용한다. 예를 들어, 발신 측 클라이언트 장치는 화상 회의 데이터 중 음성 데이터를 STT 기술을 통해 텍스트 데이터로 변환하여 중계 서버로 전송할 수 있다. 텍스트 데이터는 음성 데이터와 비교하여 용량이 매우 적다. 따라서 음성 데이터를 텍스트 데이터로 변환하여 전송할 경우 음성 데이터에 비해 사용 네트워크 대역폭을 줄일 수 있으며, 화상 회의 데이터의 송수신 시 발생하는 패킷 손실 등으로 인한 대화 내용의 불완전성을 보완할 수 있게 된다. 텍스트 형태로 변환된 데이터는 이후 수신측 클라이언트 장치에서 TTS 기술을 통해 음성 데이터로 변환되어 재생됨에 따라, 화상 회의 참석자들이 음성 대화를 진행하는 것과 같은 경험을 제공할 수 있게 된다.
STT 기술을 통한 데이터 변환 작업은 정확도 향상을 위해 딥 러닝(Deep Learning) 등과 같이 자원 소모가 큰 알고리즘이 필요하게 된다. 따라서, 발신 측 클라이언트 장치의 자원 성능 수준 등을 고려하여 상기 데이터 변환 작업은 클라이언트 장치가 아닌 중계 서버에서 대체 수행되도록 할 수 있다.
STT 기술을 통한 데이터 변환 작업을 중계 서버에서 대체 수행하도록 하는 경우, 발신측 클라이언트 장치는 중계 서버로 음성 데이터를 전송하게 되는데, 이때 음성 데이터의 보존이 중요해진다. 즉, 음성 데이터가 네트워크 환경의 악화로 인해 전송 도중 유실되거나 손실되는 경우, 중계 서버에서 STT를 통한 데이터 변환 작업은 그 정확도가 떨어지게 된다. 따라서, STT에 의한 데이터 변환 작업을 중계 서버에서 대체 수행하도록 하는 경우에는, 음성 데이터의 전송 방식을 전송 보장 방식으로 전환하여 전송함으로써, 음성 데이터를 비 전송 보장 방식에 의해 전송하는 경우보다 속도는 느려진다 하여도 STT를 통한 데이터 변환 작업의 정확성을 높일 수 있도록 한다.
도 1은 본 발명의 일 실시예에 따른 화상 회의 시스템의 구성을 나타낸 블록도이다. 도 1을 참조하면, 화상 회의 시스템(100)은 제1 클라이언트 장치(102), 제2 클라이언트 장치(104), 및 중계 서버(106)를 포함할 수 있다. 제1 클라이언트 장치(102) 및 제2 클라이언트 장치(104)는 통신 네트워크(150)를 통해 중계 서버(106)와 통신 가능하게 연결된다. 몇몇 실시예들에서, 통신 네트워크(150)는 인터넷, 하나 이상의 로컬 영역 네트워크(local area networks), 광역 네트워크(wide area networks), 셀룰러 네트워크, 모바일 네트워크, 그 밖에 다른 종류의 네트워크들, 또는 이러한 네트워크들의 조합을 포함할 수 있다.
제1 클라이언트 장치(102) 및 제2 클라이언트 장치(104)는 화상 회의에 참가하는 참석자의 단말이다. 제1 클라이언트 장치(102) 및 제2 클라이언트 장치(104)는 화상 회의에 필요한 카메라, 마이크, 스피커 등의 장비를 구비할 수 있다. 제1 클라이언트 장치(102) 및 제2 클라이언트 장치(104)는 중계 서버(106)에 접속하여 화상 회의를 수행할 수 있는 다양한 컴퓨팅 장치(예를 들어, 스마트 폰, 랩탑, 태블릿 PC 등)를 포함할 수 있다.
제1 클라이언트 장치(102) 및 제2 클라이언트 장치(104)는 각각 화상 회의 중 사용되는 기능에 따라 화상 회의 데이터를 송신할 수도 있고 수신할 수도 있다. 즉, 화상 회의의 특성상 제1 클라이언트 장치(102) 및 제2 클라이언트 장치(104)는 화상 회의 데이터의 송수신 기능을 모두 포함하게 된다. 다만 이하에서는 설명의 편의상, 제1 클라이언트 장치(102)를 화상 회의 데이터를 송신하는 장치로 하고, 제2 클라이언트 장치(104)를 화상 회의 데이터를 수신하는 장치로 하여 설명하기로 한다.
제1 클라이언트 장치(102)는 제1 클라이언트 장치(102)의 네트워크 상태 및 제1 클라이언트 장치(102)의 자원 성능에 기초하여 화상 회의 데이터 중 음성 데이터의 송신 형태 및 송신 방식을 결정하고, 결정된 송신 형태 및 송신 방식에 따라 중계 서버(106)로 해당 데이터를 송신할 수 있다.
구체적으로, 제1 클라이언트 장치(102)는 제1 클라이언트 장치(102)의 네트워크 상태 및 제1 클라이언트 장치(102)의 자원 성능에 기초하여 화상 회의 데이터 중 음성 데이터를 비 전송 보장 방식으로 중계 서버(106)로 송신할 수 있다.
또한, 제1 클라이언트 장치(102)는 제1 클라이언트 장치(102)의 네트워크 상태 및 제1 클라이언트 장치(102)의 자원 성능에 기초하여 화상 회의 데이터 중 음성 데이터를 텍스트 형태의 데이터로 변환하고, 변환된 텍스트 데이터를 전송 보장 방식으로 중계 서버(106)로 송신할 수 있다.
또한, 제1 클라이언트 장치(102)는 제1 클라이언트 장치(102)의 네트워크 상태 및 제1 클라이언트 장치(102)의 자원 성능에 기초하여 화상 회의 데이터 중 음성 데이터를 전송 보장 방식으로 중계 서버(106)로 송신하되, 송신되는 음성 데이터를 텍스트 데이터로 변환해줄 것을 중계 서버(106)에 요청할 수 있다.
제2 클라이언트 장치(104)는 제2 클라이언트 장치(102)의 네트워크 상태 및 중계 서버(106)의 데이터 수신 형태에 기초하여 화상 회의 데이터 중 음성 데이터의 수신 형태 및 수신 방식을 결정하고, 결정된 수신 형태 및 수신 방식에 따라 중계 서버(106)로부터 해당 데이터를 수신할 수 있다.
구체적으로, 제2 클라이언트 장치(104)는 제2 클라이언트 장치(102)의 네트워크 상태 및 중계 서버(106)의 데이터 수신 형태에 기반하여 화상 회의 데이터 중 음성 데이터를 비 전송 보장 방식으로 중계 서버(106)로부터 수신할 수 있다.
또한, 제2 클라이언트 장치(104)는 제2 클라이언트 장치(102)의 네트워크 상태 및 중계 서버(106)의 데이터 수신 형태에 기반하여 화상 회의 데이터 중 음성 데이터를 텍스트 데이터 형태로 전송 보장 방식으로 중계 서버(106)로부터 수신할 수 있다. 제1 클라이언트 장치(102) 및 제2 클라이언트 장치(104)의 구성 및 동작에 대한 자세한 설명은 도 2 및 도 3을 참조하여 후술하기로 한다.
중계 서버(106)는 제1 클라이언트 장치(102)와 제2 클라이언트 장치(104) 간 화상 회의를 중계하는 장치이다. 중계 서버(106)는 제1 클라이언트 장치(102)로부터 화상 회의 데이터(예를 들어, 영상 및 음성 데이터)를 수신하여 제2 클라이언트 장치(104)로 송신할 수 있다. 중계 서버(106)는 제1 클라이언트 장치(102) 또는 제2 클라이언트 장치(104)의 요청에 따라 음성 데이터를 텍스트 데이터로 변환할 수 있다. 중계 서버(106)는 제1 클라이언트 장치(102)에서 제2 클라이언트 장치(104)로 전달되어야 하는 화상 회의 데이터 중 음성 데이터의 송신 형태 및 송신 방식을 기록 및 관리할 수 있다.
도 2는 본 발명의 일 실시예에 따른 제1 클라이언트 장치(102)의 구성을 나타낸 블록도이다. 도 2를 참조하면, 제1 클라이언트 장치(102)는 제1 모니터링부(111), 제1 결정부(113), 제1 요청부(115), 제1 변환부(117), 및 제1 통신부(119)를 포함할 수 있다.
제1 모니터링부(111)는 제1 클라이언트 장치(102)의 네트워크 상태를 모니터링할 수 있다. 제1 모니터링부(111)는 제1 클라이언트 장치(102)와 중계 서버(106) 간의 네트워크 상태를 모니터링할 수 있다. 제1 모니터링부(111)는 화상 회의 중 주기적으로 제1 클라이언트 장치(102)의 네트워크 상태를 모니터링할 수 있다.
제1 모니터링부(111)는 제1 클라이언트 장치(102)의 네트워크 상태가 기 설정된 수준(예를 들어, 음성 데이터를 송신할 수 있는 수준) 이상인지 여부를 확인할 수 있다. 예시적인 실시예에서, 제1 모니터링부(111)는 사용 가능 대역폭 감소, 패킷 손실, 패킷 지연, 및 패킷 순서 변경 등의 발생 여부에 따라 제1 클라이언트 장치(102)의 네트워크 상태가 기 설정된 수준 이상인지 여부를 확인할 수 있다.
또한, 제1 모니터링부(111)는 제1 클라이언트 장치(102)의 자원 성능을 모니터링할 수 있다. 제1 모니터링부(111)는 화상 회의 중 주기적으로 제1 클라이언트 장치(102)의 CPU 사용량, 메모리 사용량 등의 자원 성능을 모니터링할 수 있다. 제1 모니터링부(111)는 제1 클라이언트 장치(102)의 자원 성능이 기 설정된 수준 이상인지 여부를 확인할 수 있다. 예시적인 실시예에서, 제1 모니터링부(111)는 제1 클라이언트 장치(102)의 자원 성능이 STT(Speech to Text)를 수행할 수 있는 수준인지 여부를 모니터링할 수 있다.
제1 결정부(113)는 제1 클라이언트 장치(102)의 네트워크 상태 및 자원 성능 중 하나 이상에 따라 화상 회의 데이터 중 음성 데이터의 송신 형태 및 송신 방식 중 하나 이상을 결정할 수 있다.
구체적으로, 제1 결정부(113)는 제1 클라이언트 장치(102)의 네트워크 상태가 기 설정된 수준 이상인 경우, 화상 회의 데이터 중 음성 데이터를 별도의 변환 없이 그대로 송신할 것으로 결정할 수 있다. 이 경우, 제1 결정부(113)는 상기 음성 데이터를 비 전송 보장 방식으로 송신할 것으로 결정할 수 있다. 여기서, 비 전송 보장 방식은 예를 들어, UDP(User Datagram Protocol) 등과 같은 RTP(Real Time Protocol)을 이용하여 데이터를 전송하는 방식일 수 있다. 제1 통신부(119)는 화상 회의 데이터 중 음성 데이터(원래 형태의 음성 데이터)를 비 전송 보장 방식으로 중계 서버(106)로 송신할 수 있다.
제1 결정부(113)는 제1 클라이언트 장치(102)의 네트워크 상태가 기 설정된 수준 미만이고, 제1 클라이언트 장치(102)의 자원 성능이 기 설정된 수준(예를 들어, STT(Speech to Text)를 수행할 수 있는 수준) 이상인 경우, 화상 회의 데이터 중 음성 데이터를 텍스트 데이터로 변환하여 송신할 것으로 결정할 수 있다. 이 경우, 제1 결정부(113)는 상기 텍스트 데이터를 전송 보장 방식으로 송신할 것으로 결정할 수 있다. 여기서, 전송 보장 방식은 예를 들어, TCP(Transmission Control Protocol) 등을 이용하여 데이터를 전송하는 방식일 수 있다. 즉, 제1 통신부(119)는 텍스트 형태로 변환된 음성 데이터를 전송 보장 방식으로 중계 서버(106)로 전송할 수 있다.
제1 결정부(113)는 제1 클라이언트 장치(102)의 네트워크 상태가 기 설정된 수준 미만이고, 제1 클라이언트 장치(102)의 자원 성능이 기 설정된 수준 미만인 경우, 화상 회의 데이터 중 음성 데이터를 그대로 송신할 것으로 결정할 수 있다. 이 경우, 제1 결정부(113)는 상기 음성 데이터를 전송 보장 방식으로 송신할 것으로 결정할 수 있다.
제1 요청부(115)는 제1 결정부(113)에서 화상 회의 데이터 중 음성 데이터를 전송 보장 방식으로 중계 서버(106)로 송신하는 것으로 결정하는 경우, 음성 데이터를 텍스트 데이터로 변환할 것을 중계 서버(106)에 요청할 수 있다.
제1 변환부(117)는 제1 결정부(113)의 결정에 따라 음성 데이터를 텍스트 데이터로 변환할 수 있다. 즉, 제1 결정부(113)에서 화상 회의 데이터 중 음성 데이터를 텍스트 형태의 데이터로 전송할 것으로 결정하는 경우, 제1 변환부(117)는 상기 음성 데이터를 텍스트 데이터로 변환할 수 있다. 이를 위해, 제1 변환부(117)는 STT(Speech to Text) 모듈을 구비할 수 있다.
제1 통신부(119)는 중계 서버(106)와 통신 가능하게 연결된다. 제1 통신부(119)는 화상 회의 데이터 중 음성 데이터를 비 전송 보장 방식으로 중계 서버(106)로 송신할 수 있다. 또한, 제1 통신부(119)는 텍스트 형태로 변환된 음성 데이터를 전송 보장 방식으로 중계 서버(106)로 송신할 수 있다. 또한, 제1 통신부(119)는 화상 회의 데이터 중 음성 데이터를 전송 보장 방식으로 중계 서버(106)로 송신할 수 있다.
도 3은 본 발명의 일 실시예에 따른 제2 클라이언트 장치(104)의 구성을 나타낸 블록도이다.
도 3을 참조하면, 제2 클라이언트 장치(104)는 제2 모니터링부(121), 제2 결정부(123), 제2 요청부(125), 제2 변환부(127), 및 제2 통신부(129)를 포함할 수 있다.
제2 모니터링부(121)는 제2 클라이언트 장치(104)의 네트워크 상태를 모니터링할 수 있다. 제2 모니터링부(121)는 제2 클라이언트 장치(104)와 중계 서버(106) 간의 네트워크 상태를 모니터링할 수 있다. 제2 모니터링부(121)는 화상 회의 중 주기적으로 제2 클라이언트 장치(104)의 네트워크 상태를 모니터링할 수 있다.
제2 모니터링부(121)는 제2 클라이언트 장치(104)의 네트워크 상태가 기 설정된 수준(예를 들어, 음성 데이터를 수신할 수 있는 수준) 이상인지 여부를 확인할 수 있다. 예시적인 실시예에서, 제2 모니터링부(121)는 사용 가능 대역폭 감소, 패킷 손실, 패킷 지연, 및 패킷 순서 변경 등의 발생 여부에 따라 제2 클라이언트 장치(104)의 네트워크 상태가 기 설정된 수준 이상인지 여부를 확인할 수 있다.
제2 결정부(123)는 제2 클라이언트 장치(104)의 네트워크 상태 및 중계 서버(106)의 데이터의 수신 형태 중 하나 이상에 따라 화상 회의 데이터 중 음성 데이터의 수신 형태 및 수신 방식 중 하나 이상을 결정할 수 있다.
구체적으로, 제2 클라이언트 장치(104)의 네트워크 상태가 기 설정된 수준 이상인 경우, 제2 결정부(123)는 중계 서버(106)로부터 화상 회의 데이터 중 음성 데이터를 음성 데이터 원래 형태로 수신할 것으로 결정할 수 있다. 이 경우, 제2 결정부(123)는 상기 음성 데이터를 비 전송 보장 방식으로 수신할 것으로 결정할 수 있다. 이 경우 제2 요청부(125)는 화상 데이터 중 음성 데이터를 비 전송 보장 방식으로 전송해달라는 요청을 중계 서버(106)로 전송할 수 있다.
여기서, 중계 서버(106)가 제1 클라이언트 장치(102)로부터 화상 데이터 중 음성 데이터를 음성 데이터 원래 형태로 수신하고 있는 경우, 제2 클라이언트 장치(104)는 중계 서버(106)로부터 상기 음성 데이터를 비 전송 보장 방식으로 수신할 수 있다.
만약, 중계 서버(106)가 제1 클라이언트 장치(102)로부터 화상 데이터 중 음성 데이터를 텍스트 형태의 데이터로 수신하고 있는 경우, 제2 결정부(123)는 화상 데이터 중 음성 데이터를 텍스트 데이터로 수신할 것으로 결정할 수 있다. 이 경우 제2 결정부(123)는 상기 텍스트 데이터를 전송 보장 방식으로 수신할 것으로 결정할 수 있다. 이에 따라, 제2 요청부(125)는 화상 데이터 중 음성 데이터를 텍스트 데이터 형태로 전송 보장 방식으로 전송해달라는 요청을 중계 서버(106)로 전송할 수 있다.
제2 클라이언트 장치(104)의 네트워크 상태가 기 설정된 수준 미만인 경우, 제2 결정부(123)는 중계 서버(106)로부터 화상 회의 데이터 중 음성 데이터를 텍스트 형태로 수신할 것으로 결정할 수 있다. 이 경우, 제2 결정부(123)는 상기 텍스트 데이터를 전송 보장 방식으로 수신할 것으로 결정할 수 있다. 제2 요청부(125)는 화상 데이터 중 음성 데이터를 텍스트 데이터로 전송해주고 전송 보장 방식으로 전송해달라는 요청을 중계 서버(106)로 전송할 수 있다.
여기서, 중계 서버(106)가 제1 클라이언트 장치(102)로부터 화상 데이터 중 음성 데이터를 텍스트 데이터로 수신하고 있는 경우, 제2 클라이언트 장치(104)는 중계 서버(106)로부터 상기 텍스트 데이터를 전송 보장 방식으로 수신할 수 있다.
만약, 중계 서버(106)가 제1 클라이언트 장치(102)로부터 화상 데이터 중 음성 데이터를 음성 데이터 원래 형태로 수신하고 있는 경우, 제2 요청부(125)는 상기 음성 데이터를 텍스트 데이터로 변환하고, 변환된 텍스트 데이터를 전송 보장 방식으로 전송해달라는 요청을 중계 서버(106)로 전송할 수 있다. 이에 따라 제2 클라이언트 장치(104)는 중계 서버(106)로부터 상기 변환된 텍스트 데이터를 전송 보장 방식으로 수신할 수 있다.
제2 변환부(127)는 중계 서버(106)로부터 수신한 텍스트 데이터를 음성 데이터로 변환할 수 있다. 이를 위해, 제2 변환부(127)는 TTS(Text to Speech) 모듈을 구비할 수 있다. 제2 클라이언트 장치(104)는 변환된 음성 데이터를 스피커로 출력할 수 있다.
제2 통신부(129)는 중계 서버(106)와 통신 가능하게 연결된다. 제2 통신부(129)는 중계 서버(106)로부터 화상 회의 데이터 중 음성 데이터를 비 전송 보장 방식으로 수신할 수 있다. 또한, 제2 통신부(129)는 중계 서버(106)로부터 텍스트 형태로 변환된 음성 데이터를 전송 보장 방식으로 수신할 수 있다.
도 4는 본 발명의 일 실시예에 따른 화상 회의 서비스 방법을 설명하기 위한 흐름도이다. 도시된 흐름도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.
도 4를 참조하면, 제1 클라이언트 장치(102)는 제1 클라이언트 장치(102)의 네트워크 상태가 기 설정된 수준 이상인지 여부를 확인한다(S 101). 예시적인 실시예에서, 상기 네트워크 상태의 기 설정된 수준은 제1 클라이언트 장치(102)가 화상 회의 데이터의 음성 데이터를 중계 서버(106)로 송신할 수 있는 수준으로 설정될 수 있다.
단계 S 101의 확인 결과, 제1 클라이언트 장치(102)의 네트워크 상태가 기 설정된 수준 이상인 경우, 제1 클라이언트 장치(102)는 화상 회의 데이터의 음성 데이터를 비 전송 보장 방식으로 중계 서버(106)로 송신한다(S 103).
단계 S 101의 확인 결과, 제1 클라이언트 장치(102)의 네트워크 상태가 기 설정된 수준 미만인 경우, 제1 클라이언트 장치(102)는 제1 클라이언트 장치(102)의 자원 성능이 기 설정된 수준 이상인지 여부를 확인한다(S 105). 예시적인 실시예에서, 상기 자원 성능의 기 설정된 수준은 제1 클라이언트 장치(102)가 STT를 수행할 수 있는 수준으로 설정될 수 있다.
단계 S 105의 확인 결과, 제1 클라이언트 장치(102)의 자원 성능이 기 설정된 수준 이상인 경우, 제1 클라이언트 장치(102)는 화상 회의 데이터의 음성 데이터를 텍스트 데이터로 변환한다(S 107). 즉, 제1 클라이언트 장치(102)는 STT 기술을 이용하여 음성 데이터를 텍스트 데이터로 변환할 수 있다.
다음으로, 제1 클라이언트 장치(102)는 변환된 텍스트 데이터를 전송 보장 방식으로 중계 서버(106)로 송신한다(S 109).
단계 S 105의 확인 결과, 제1 클라이언트 장치(102)의 자원 성능이 기 설정된 수준 미만인 경우, 제1 클라이언트 장치(102)는 화상 회의 데이터의 음성 데이터를 전송 보장 방식으로 송신한다(S 111).
다음으로, 제1 클라이언트 장치(102)는 상기 음성 데이터를 텍스트 데이터로 변환해줄 것을 중계 서버(106)로 요청한다(S 113). 그러면, 중계 서버(106)는 제1 클라이언트 장치(102)로부터 수신한 음성 데이터를 텍스트 데이터로 변환할 수 있다. 단계 S 111과 S 113은 동시에 이루어질 수 있다.
도 5는 본 발명의 다른 실시예에 따른 화상 회의 서비스 방법을 설명하기 위한 흐름도이다. 도시된 흐름도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.
도 5를 참조하면, 제2 클라이언트 장치(104)는 제2 클라이언트 장치(104)의 네트워크 상태가 기 설정된 수준 이상인지 여부를 확인한다(S 201). 예시적인 실시예에서, 상기 네트워크 상태의 기 설정된 수준은 제2 클라이언트 장치(104)가 중계 서버(106)로부터 화상 회의 데이터의 음성 데이터를 수신할 수 있는 수준으로 설정될 수 있다.
단계 S 201의 확인 결과, 제2 클라이언트 장치(104)의 네트워크 상태가 기 설정된 수준 이상인 경우, 화상 회의 데이터 중 음성 데이터를 비 전송 보장 방식으로 수신할 것으로 결정하고, 상기 음성 데이터를 비 전송 보장 방식으로 전송해줄 것을 중계 서버(106)로 요청한다(S 203).
다음으로, 제2 클라이언트 장치(104)는 중계 서버(106)가 제1 클라이언트 장치(102)로부터 화상 회의 데이터 중 음성 데이터를 음성 데이터 원래 형태로 수신하는지 여부를 확인한다(S 205).
단계 S 205의 확인 결과, 중계 서버(106)가 제1 클라이언트 장치(102)로부터 화상 회의 데이터 중 음성 데이터를 음성 데이터 원래 형태로 수신하는 경우, 제2 클라이언트 장치(104)는 중계 서버(106)로부터 상기 음성 데이터를 비 전송 보장 방식으로 수신한다(S 207).
단계 S 205의 확인 결과, 중계 서버(106)가 제1 클라이언트 장치(102)로부터 화상 회의 데이터 중 음성 데이터를 음성 데이터 원래 형태가 아닌 텍스트 데이터로 수신하는 경우, 제2 클라이언트 장치(104)는 상기 텍스트 데이터를 전송 보장 방식으로 전송해줄 것을 요청한다(S 209).
다음으로, 제2 클라이언트 장치(104)는 중계 서버(106)로부터 상기 텍스트 데이터를 전송 보장 방식으로 수신한다(S 211). 제2 클라이언트 장치(104)는 수신한 텍스트 데이터를 음성 데이터로 변환(TTS)하여 출력할 수 있다.
한편, 단계 S 201의 확인 결과, 제2 클라이언트 장치(104)의 네트워크 상태가 기 설정된 수준 미만인 경우, 제2 클라이언트 장치(104)는 화상 회의 데이터 중 음성 데이터를 텍스트 데이터로 변환하여 전송 보장 방식으로 수신할 것으로 결정하고, 상기 텍스트 데이터를 전송 보장 방식으로 전송해줄 것을 중계 서버(106)로 요청한다(S 213).
다음으로, 제2 클라이언트 장치(104)는 중계 서버(106)가 제1 클라이언트 장치(102)로부터 화상 회의 데이터 중 음성 데이터를 텍스트 데이터로 수신하는지 여부를 확인한다(S 215).
단계 S 215의 확인 결과, 중계 서버(106)가 제1 클라이언트 장치(102)로부터 화상 회의 데이터 중 음성 데이터를 텍스트 데이터로 수신하는 경우, 제2 클라이언트 장치(104)는 중계 서버(106)로부터 상기 텍스트 데이터를 전송 보장 방식으로 수신한다(S 217).
단계 S 215의 확인 결과, 중계 서버(106)가 제1 클라이언트 장치(102)로부터 화상 회의 데이터 중 음성 데이터를 텍스트 데이터가 아닌 음성 데이터 원래 형태로 수신하는 경우, 제2 클라이언트 장치(104)는 상기 음성 데이터를 텍스트 데이터로 변환하고, 변환된 텍스트 데이터를 전송 보장 방식으로 전송해달라는 요청을 중계 서버(106)로 전송한다(S 219). 중계 서버(106)는 제2 클라이언트 장치(104)의 요청에 따라 제1 클라이언트 장치(102)로부터 수신한 음성 데이터를 텍스트 데이터로 변환 할 수 있다.
다음으로, 제2 클라이언트 장치(104)는 중계 서버(106)로부터 상기 변환된 텍스트 데이터를 전송 보장 방식으로 수신한다(S 221). 제2 클라이언트 장치(104)는 수신한 텍스트 데이터를 음성 데이터로 변환(TTS)하여 출력할 수 있다.
도 6은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술된 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.
도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 화상 회의에 참석하는 참석자의 단말기(예를 들어, 제1 클라이언트 장치(102) 또는 제2 클라이언트 장치(104))일 수 있다. 또한, 컴퓨팅 장치(12)는 화상 회의를 중계하는 서버 컴퓨팅 장치(예를 들어, 중계 서버(106))일 수 있다.
컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.
통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.
컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.
이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100 : 화상 회의 시스템
102 : 제1 클라이언트 장치
104 : 제2 클라이언트 장치
106 : 중계 서버
111 : 제1 모니터링부
113 : 제1 결정부
115 : 제1 요청부
117 : 제1 변환부
119 : 제1 통신부
121 : 제2 모니터링부
123 : 제2 결정부
125 : 제2 요청부
127 : 제2 변환부
129 : 제2 통신부

Claims (20)

  1. 하나 이상의 프로세서들, 및
    상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비하며, 화상 회의에 참석한 참석자의 컴퓨팅 장치로서,
    상기 컴퓨팅 장치의 네트워크 상태 및 상기 컴퓨팅 장치의 자원 성능 중 하나 이상을 모니터링 하는 모니터링부;
    상기 컴퓨팅 장치의 네트워크 상태 및 자원 성능 중 하나 이상에 따라 화상 회의 데이터 중 음성 데이터의 송신 형태 및 송신 방식 중 하나 이상을 결정하는 결정부;
    상기 컴퓨팅 장치의 네트워크 상태가 기 설정된 수준 미만이고, 상기 컴퓨팅 장치의 자원 성능이 기 설정된 수준 미만인 경우, 상기 음성 데이터를 텍스트 데이터로 변환해줄 것을 상기 화상 회의의 중계 서버로 요청하는 요청부; 및
    상기 컴퓨팅 장치의 네트워크 상태가 기 설정된 수준 미만이고, 상기 컴퓨팅 장치의 자원 성능이 기 설정된 수준 미만인 경우, 상기 음성 데이터를 전송 보장 방식으로 상기 중계 서버로 송신하는 통신부를 포함하는, 컴퓨팅 장치.
  2. 청구항 1에 있어서, 상기 통신부는
    상기 컴퓨팅 장치의 네트워크 상태가 기 설정된 수준 이상인 경우, 상기 음성 데이터를 비 전송 보장 방식으로 상기 화상 회의의 중계 서버로 송신하는, 컴퓨팅 장치.
  3. 청구항 1에 있어서,
    상기 컴퓨팅 장치는,
    상기 컴퓨팅 장치의 네트워크 상태가 기 설정된 수준 미만이고, 상기 컴퓨팅 장치의 자원 성능이 기 설정된 수준 이상인 경우, 상기 음성 데이터를 텍스트 데이터로 변환하는 변환부;를 더 포함하고,
    상기 통신부는
    상기 컴퓨팅 장치의 네트워크 상태가 기 설정된 수준 미만이고, 상기 컴퓨팅 장치의 자원 성능이 기 설정된 수준 이상인 경우, 상기 변환된 텍스트 데이터를 전송 보장 방식으로 상기 화상 회의의 중계 서버로 송신하는, 컴퓨팅 장치.
  4. 삭제
  5. 청구항 1에 있어서,
    상기 모니터링부는,
    상기 컴퓨팅 장치의 네트워크 상태가 상기 화상 회의 데이터 중 음성 데이터를 상기 화상 회의의 중계 서버로 전송할 수 있는 수준인지 여부를 확인하고,
    상기 컴퓨팅 장치의 자원 성능이 STT(Speech to Text) 작업을 수행할 수 있는 수준인지 여부를 확인하는, 컴퓨팅 장치.
  6. 하나 이상의 프로세서들, 및
    상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비하며, 화상 회의에 참석한 참석자의 컴퓨팅 장치로서,
    상기 컴퓨팅 장치의 네트워크 상태를 모니터링 하는 모니터링부;
    상기 컴퓨팅 장치의 네트워크 상태 및 상기 화상 회의의 중계 서버의 다른 컴퓨팅 장치로부터의 데이터 수신 형태 중 하나 이상에 따라 화상 회의 데이터 중 음성 데이터의 수신 형태 및 수신 방식 중 하나 이상을 결정하는 결정부;
    상기 컴퓨팅 장치의 네트워크 상태가 기 설정된 수준 미만인 경우, 상기 음성 데이터를 텍스트 형태의 데이터 및 전송 보장 방식으로 전송해줄 것을 상기 중계 서버로 요청하는 요청부; 및
    상기 중계 서버가 다른 컴퓨팅 장치로부터 상기 음성 데이터를 텍스트 형태의 데이터로 수신 중인 경우, 상기 중계 서버로부터 텍스트 데이터를 전송 보장 방식으로 수신하는 통신부를 포함하는, 컴퓨팅 장치.
  7. 청구항 6에 있어서,
    상기 요청부는,
    상기 컴퓨팅 장치의 네트워크 상태가 기 설정된 수준 이상인 경우, 상기 음성 데이터를 비 전송 보장 방식으로 전송해줄 것을 상기 중계 서버로 요청하고,
    상기 통신부는,
    상기 중계 서버가 다른 컴퓨팅 장치로부터 상기 음성 데이터를 수신 중인 경우, 상기 중계 서버로부터 상기 음성 데이터를 비 전송 보장 방식으로 수신하는, 컴퓨팅 장치.
  8. 청구항 6에 있어서,
    상기 요청부는,
    상기 중계 서버가 다른 컴퓨팅 장치로부터 상기 음성 데이터를 텍스트 형태의 데이터로 수신 중인 경우, 상기 음성 데이터를 텍스트 형태의 데이터 및 전송 보장 방식으로 전송해줄 것을 상기 중계 서버로 요청하는, 컴퓨팅 장치.
  9. 삭제
  10. 청구항 6에 있어서,
    상기 요청부는,
    상기 중계 서버가 다른 컴퓨팅 장치로부터 상기 음성 데이터를 수신 중인 경우, 상기 음성 데이터를 텍스트 데이터로 변환하고, 변환된 텍스트 데이터를 전송 보장 방식으로 전송해달라는 요청을 상기 중계 서버로 전송하는, 컴퓨팅 장치.
  11. 하나 이상의 프로세서들, 및
    상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비하며, 화상 회의에 참석한 참석자의 컴퓨팅 장치에서 수행되는 방법으로서,
    상기 컴퓨팅 장치의 네트워크 상태 및 상기 컴퓨팅 장치의 자원 성능 중 하나 이상을 모니터링 하는 단계;
    상기 컴퓨팅 장치의 네트워크 상태 및 자원 성능 중 하나 이상에 따라 화상 회의 데이터 중 음성 데이터의 송신 형태 및 송신 방식 중 하나 이상을 결정하는 단계;
    상기 컴퓨팅 장치의 네트워크 상태가 기 설정된 수준 미만이고, 상기 컴퓨팅 장치의 자원 성능이 기 설정된 수준 미만인 경우, 상기 음성 데이터를 텍스트 데이터로 변환해줄 것을 상기 화상 회의의 중계 서버로 요청하는 단계; 및
    상기 음성 데이터를 전송 보장 방식으로 상기 중계 서버로 송신하는 단계를 포함하는, 화상 회의 서비스 방법.
  12. 청구항 11에 있어서,
    상기 화상 회의 서비스 방법은,
    상기 컴퓨팅 장치의 네트워크 상태가 기 설정된 수준 이상인 경우, 상기 음성 데이터를 비 전송 보장 방식으로 상기 화상 회의의 중계 서버로 송신하는 단계를 더 포함하는, 화상 회의 서비스 방법.
  13. 청구항 11에 있어서,
    상기 화상 회의 서비스 방법은,
    상기 컴퓨팅 장치의 네트워크 상태가 기 설정된 수준 미만이고, 상기 컴퓨팅 장치의 자원 성능이 기 설정된 수준 이상인 경우, 상기 음성 데이터를 텍스트 데이터로 변환하는 단계; 및
    상기 변환된 텍스트 데이터를 전송 보장 방식으로 상기 화상 회의의 중계 서버로 송신하는 단계를 더 포함하는, 화상 회의 서비스 방법.
  14. 삭제
  15. 청구항 11에 있어서,
    상기 모니터링 하는 단계는,
    상기 컴퓨팅 장치의 네트워크 상태가 상기 화상 회의 데이터 중 음성 데이터를 상기 화상 회의의 중계 서버로 전송할 수 있는 수준인지 여부를 확인하고,
    상기 컴퓨팅 장치의 자원 성능이 STT(Speech to Text) 작업을 수행할 수 있는 수준인지 여부를 확인하는, 화상 회의 서비스 방법.
  16. 하나 이상의 프로세서들, 및
    상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비하며, 화상 회의에 참석한 참석자의 컴퓨팅 장치에서 수행되는 방법으로서,
    상기 컴퓨팅 장치의 네트워크 상태를 모니터링 하는 단계;
    상기 컴퓨팅 장치의 네트워크 상태 및 상기 화상 회의의 중계 서버의 다른 컴퓨팅 장치로부터의 데이터 수신 형태 중 하나 이상에 따라 화상 회의 데이터 중 음성 데이터의 수신 형태 및 수신 방식 중 하나 이상을 결정하는 단계;
    상기 컴퓨팅 장치의 네트워크 상태가 기 설정된 수준 미만인 경우, 상기 음성 데이터를 텍스트 형태의 데이터 및 전송 보장 방식으로 전송해줄 것을 상기 중계 서버로 요청하는 단계; 및
    상기 중계 서버가 다른 컴퓨팅 장치로부터 상기 음성 데이터를 텍스트 형태의 데이터로 수신 중인 경우, 상기 중계 서버로부터 텍스트 데이터를 전송 보장 방식으로 수신하는 단계를 포함하는, 화상 회의 서비스 방법.
  17. 청구항 16에 있어서,
    상기 화상 회의 서비스 방법은,
    상기 컴퓨팅 장치의 네트워크 상태가 기 설정된 수준 이상인 경우, 상기 음성 데이터를 비 전송 보장 방식으로 전송해줄 것을 상기 중계 서버로 요청하는 단계; 및
    상기 중계 서버가 다른 컴퓨팅 장치로부터 상기 음성 데이터를 수신 중인 경우, 상기 중계 서버로부터 상기 음성 데이터를 비 전송 보장 방식으로 수신하는 단계를 더 포함하는, 화상 회의 서비스 방법.
  18. 청구항 16에 있어서,
    상기 화상 회의 서비스 방법은,
    상기 컴퓨팅 장치의 네트워크 상태가 기 설정된 수준 이상인 경우, 상기 음성 데이터를 비 전송 보장 방식으로 전송해줄 것을 상기 중계 서버로 요청하는 단계;
    상기 중계 서버가 다른 컴퓨팅 장치로부터 상기 음성 데이터를 텍스트 형태의 데이터로 수신 중인 경우, 상기 음성 데이터를 텍스트 형태의 데이터 및 전송 보장 방식으로 전송해줄 것을 상기 중계 서버로 요청하는 단계; 및
    상기 중계 서버로부터 텍스트 데이터를 전송 보장 방식으로 수신하는 단계를 더 포함하는, 화상 회의 서비스 방법.
  19. 삭제
  20. 청구항 16에 있어서,
    상기 화상 회의 서비스 방법은,
    상기 중계 서버가 다른 컴퓨팅 장치로부터 상기 음성 데이터를 수신 중인 경우, 상기 음성 데이터를 텍스트 데이터로 변환하고, 변환된 텍스트 데이터를 전송 보장 방식으로 전송해달라는 요청을 상기 중계 서버로 전송하는 단계; 및
    상기 중계 서버로부터 상기 변환된 텍스트 데이터를 전송 보장 방식으로 수신하는 단계를 더 포함하는, 화상 회의 서비스 방법.
KR1020180125954A 2018-10-22 2018-10-22 화상 회의 서비스 방법 및 이를 수행하기 위한 장치 KR102501233B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180125954A KR102501233B1 (ko) 2018-10-22 2018-10-22 화상 회의 서비스 방법 및 이를 수행하기 위한 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180125954A KR102501233B1 (ko) 2018-10-22 2018-10-22 화상 회의 서비스 방법 및 이를 수행하기 위한 장치

Publications (2)

Publication Number Publication Date
KR20200045205A KR20200045205A (ko) 2020-05-04
KR102501233B1 true KR102501233B1 (ko) 2023-02-20

Family

ID=70732454

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180125954A KR102501233B1 (ko) 2018-10-22 2018-10-22 화상 회의 서비스 방법 및 이를 수행하기 위한 장치

Country Status (1)

Country Link
KR (1) KR102501233B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210144117A (ko) * 2020-05-21 2021-11-30 삼성전자주식회사 멀티미디어 콘텐츠를 제공하는 방법 및 그 전자 장치
KR102453323B1 (ko) * 2021-03-22 2022-10-11 강은영 Ai 기반의 개인맞춤형 사용자환경을 제공하는 화상회의방법
CN117201890A (zh) * 2023-08-24 2023-12-08 深圳市创载网络科技有限公司 一种视频会议的数据传输控制方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001148713A (ja) * 1999-11-18 2001-05-29 Matsushita Joho System Kk 通話システム
US20020167586A1 (en) * 2001-05-11 2002-11-14 Meng-Hsien Liu Real-time vidoe/audio quality adjustment method

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100680314B1 (ko) * 2004-10-22 2007-02-08 연세대학교 산학협력단 다대다 통신기반의 응급의료 시스템의 최적화된 데이터제어 서버
CN101802907B (zh) * 2007-09-19 2013-11-13 爱立信电话股份有限公司 多信道音频的联合增强
KR20120073795A (ko) * 2010-12-27 2012-07-05 엘지에릭슨 주식회사 수화-자막 변환 기능을 이용한 화상회의 시스템 및 방법
KR20140098573A (ko) 2013-01-31 2014-08-08 한국전자통신연구원 영상 회의 서비스 제공 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001148713A (ja) * 1999-11-18 2001-05-29 Matsushita Joho System Kk 通話システム
US20020167586A1 (en) * 2001-05-11 2002-11-14 Meng-Hsien Liu Real-time vidoe/audio quality adjustment method

Also Published As

Publication number Publication date
KR20200045205A (ko) 2020-05-04

Similar Documents

Publication Publication Date Title
US10284616B2 (en) Adjusting a media stream in a video communication system based on participant count
KR102501233B1 (ko) 화상 회의 서비스 방법 및 이를 수행하기 위한 장치
US7979550B2 (en) Methods and apparatuses for adjusting bandwidth allocation during a collaboration session
US9774824B1 (en) System, method, and logic for managing virtual conferences involving multiple endpoints
US20180014063A1 (en) Method and Apparatus for Accessing a Terminal Device Camera to a Target Device
US20170048283A1 (en) Non-transitory computer readable medium, information processing apparatus, and information processing system
US10999332B2 (en) User-centric connections to a location comprising digital collaboration tools
EP2770691A1 (en) Communication Management System, Communication Method, and Communication Control Carrier Means
US11489883B2 (en) User-centric connections to a location comprising digital collaboration tools
US10848530B2 (en) Conference system and method for interworking between audio conference and web conference
JP2017034312A (ja) 通信装置、通信システム、およびプログラム
US11064453B2 (en) Position stream session negotiation for spatial audio applications
US10165365B2 (en) Sound sharing apparatus and method
JP2008060785A (ja) Ｉｐ電話通話録音システム
US9503812B2 (en) Systems and methods for split echo cancellation
US9877168B2 (en) Information processing apparatus, information processing system, and non-transitory computer readable medium
US10904301B2 (en) Conference system and method for handling conference connection thereof
KR102279576B1 (ko) 컨퍼런스 시스템 및 상기 시스템에서의 컨퍼런스 접속 처리 방법
US11233834B2 (en) Streaming click-to-talk with video capability
US11563804B2 (en) Determining transmission path based on pre-stored quality information from client devices
US10659732B2 (en) Apparatus for providing multi-party conference and method for assigning encoder thereof
WO2024060120A1 (en) Adaptive network path selection for virtual meeting optimization
US20240007375A1 (en) Location-based proxy for virtual meeting optimization
KR20160133255A (ko) 영상회의 서비스를 위한 신호 처리 장치 및 신호 처리 방법
US9288436B2 (en) Systems and methods for using split endpoints in video communication systems

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant