KR102575038B1 - Apparatus and method for video conferencing service - Google Patents
Apparatus and method for video conferencing service Download PDFInfo
- Publication number
- KR102575038B1 KR102575038B1 KR1020210046723A KR20210046723A KR102575038B1 KR 102575038 B1 KR102575038 B1 KR 102575038B1 KR 1020210046723 A KR1020210046723 A KR 1020210046723A KR 20210046723 A KR20210046723 A KR 20210046723A KR 102575038 B1 KR102575038 B1 KR 102575038B1
- Authority
- KR
- South Korea
- Prior art keywords
- video conference
- information
- user
- speaker
- meeting
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000013519 translation Methods 0.000 claims description 44
- 238000001514 detection method Methods 0.000 claims description 13
- 238000004891 communication Methods 0.000 claims description 11
- 238000012790 confirmation Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 30
- 239000000284 extract Substances 0.000 description 18
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000012508 change request Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/02—Preprocessing operations, e.g. segment selection; Pattern representation or modelling, e.g. based on linear discriminant analysis [LDA] or principal components; Feature selection or extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/04—Training, enrolment or model building
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
본 발명은 화상 회의 서비스 제공 장치 및 방법에 대한 것이다. 본 발명의 실시 예에 따르면, 화상 회의 서비스 제공 장치는 사용자 음성의 세기 및 지속시간을 이용하여 발언 중인 화자를 인식할 수 있다.The present invention relates to a video conference service providing apparatus and method. According to an embodiment of the present invention, an apparatus for providing a video conference service may recognize a speaker who is speaking using the strength and duration of a user's voice.
Description
본 발명은 화상 회의 서비스 제공 기술에 관한 것으로, 더욱 상세하게는 화상 회의에서 화자를 인식하여 화자로 판단된 사용자 영상을 강조하는 화상 회의 서비스 제공 장치 및 방법에 관한 것이다.The present invention relates to a technology for providing a video conference service, and more particularly, to a video conference service providing apparatus and method for recognizing a speaker in a video conference and emphasizing a user image determined to be a speaker.
화상 회의 시스템은 서로 다른 지리적 위치에 거주하는 둘 이상의 사용자 간에 실시간 및 시각적 커뮤니케이션을 수행하는 기술로, 화상 및 음성데이터를 실시간 공유함으로써 사용자에게 회의 환경을 제공하는 시스템을 의미한다.A video conferencing system is a technology for performing real-time and visual communication between two or more users residing in different geographic locations, and refers to a system that provides a conference environment to users by sharing video and audio data in real time.
화상 회의 시스템은 회의, 교육, 상담, 면접, 세미나 등 다양한 분야에 적용되고 있으며, 특히, 정부에서는 원격근무와 유연근무를 포함한 스마트워크제를 적극 도입하면서 화상 회의 시스템 시장이 크게 확대되고 있다. Video conferencing systems are being applied to various fields such as meetings, education, consultations, interviews, and seminars.
일반적으로, 화상 회의 시스템에서는 송출되는 영상 및 음성을 통해 발언 중인 화자를 인식한다. 그러나, 화상 회의 네트워크 환경이 좋지 않아 화상 회의 시스템이 원활하지 않을 경우, 사용자의 영상 및 음성만으로 화자를 감지하기 어려울 수 있다. Generally, in a video conferencing system, a speaker in speaking is recognized through transmitted video and audio. However, when the video conference system is not smooth due to a poor video conference network environment, it may be difficult to detect a speaker only with a user's video and voice.
또한, 화상 회의에 참여하는 복수의 사용자가 동시에 발언할 경우, 화자를 감지하기 어려운 문제가 있다. In addition, when a plurality of users participating in a video conference speak at the same time, it is difficult to detect the speaker.
본 발명의 배경기술은 대한민국 등록특허 제10-1094766호에 게시되어 있다.The background art of the present invention is published in Korean Patent Registration No. 10-1094766.
본 발명은 사용자 음성의 세기 및 지속시간을 이용하여 발언 중인 화자를 인식하는 화상 회의 서비스 제공 장치를 제공하는 것이다.An object of the present invention is to provide a video conferencing service providing device that recognizes a speaking speaker using strength and duration of a user's voice.
본 발명은 화상 회의 사용자 중에서 화자의 영상을 표시하여 화자를 명확히 구분하는 화상 회의 서비스 제공 장치를 제공하는 것이다.An object of the present invention is to provide a video conference service providing device that clearly identifies a speaker by displaying an image of a speaker among video conference users.
본 발명은 사용자의 요청에 따라 화상 회의 컨텐츠를 제어하는 화상 회의 서비스 제공 장치를 제공하는 것이다. An object of the present invention is to provide a video conference service providing device that controls video conference content according to a user's request.
본 발명이 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The technical problem to be achieved by the present invention is not limited to the above-mentioned technical problem, and other technical problems not mentioned can be clearly understood by those skilled in the art from the description below. There will be.
본 발명의 일 측면에 따르면, 화상 회의 서비스 제공 장치를 제공한다.According to one aspect of the present invention, a video conference service providing device is provided.
본 발명의 일 실시 예에 따른 화상 회의 서비스 제공 장치는 사용자 단말과 통신을 수행하는 통신부, 사용자 단말로부터 화상 회의 데이터를 수신하여 화상 회의 컨텐츠를 생성하는 회의컨텐츠부, 화상 회의 데이터에 포함된 사용자의 음성을 기반으로 화자를 판단하는 화자감지부 및 화자감지부로부터 화자 정보를 수신할 경우, 화자 정보를 이용하여 화상 회의 컨텐츠를 제어하는 출력제어부를 포함할 수 있다.An apparatus for providing a video conference service according to an embodiment of the present invention includes a communication unit that communicates with a user terminal, a conference content unit that receives video conference data from the user terminal and generates video conference content, and a user information included in the video conference data. A speaker detection unit for determining a speaker based on voice and an output control unit for controlling video conference content using the speaker information when speaker information is received from the speaker detection unit may be included.
본 발명의 다른 일 측면에 따르면, 화상 회의 서비스 제공 방법을 제공한다.According to another aspect of the present invention, a method for providing a video conference service is provided.
본 발명의 일 실시 예에 따른 화상 회의 서비스 제공 방법은 사용자 단말과 통신을 수행하는 단계, 사용자 단말로부터 화상 회의 데이터를 수신하여 화상 회의 컨텐츠를 생성하는 단계, 화상 회의 데이터에 포함된 사용자의 음성을 기반으로 화자를 판단하는 단계 및 화자감지부로부터 화자 정보를 수신할 경우, 화자 정보를 이용하여 화상 회의 컨텐츠를 제어하는 단계를 포함할 수 있다.A method for providing a video conference service according to an embodiment of the present invention includes the steps of performing communication with a user terminal, generating video conference content by receiving video conference data from the user terminal, and generating a user's voice included in the video conference data. The method may include determining a speaker based on the information and controlling video conference contents using the speaker information when speaker information is received from the speaker detection unit.
본 발명의 실시 예에 따르면, 화상 회의 서비스 제공 장치는 사용자 음성의 세기 및 지속시간을 이용하여 발언 중인 화자를 인식할 수 있다.According to an embodiment of the present invention, an apparatus for providing a video conference service may recognize a speaker who is speaking using the strength and duration of a user's voice.
본 발명의 실시 예에 따르면, 화상 회의 서비스 제공 장치는 화상 회의 사용자 중에서 화자의 영상을 표시하여 화자를 명확히 구분할 수 있다.According to an embodiment of the present invention, the video conferencing service providing device can display an image of a speaker among video conference users to clearly distinguish a speaker.
본 발명의 실시 예에 따르면, 화상 회의 서비스 제공 장치는 사용자의 요청에 따라 화상 회의 컨텐츠를 제어할 수 있다.According to an embodiment of the present invention, a video conference service providing device may control video conference content according to a user's request.
본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 설명 또는 청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.The effects of the present invention are not limited to the above effects, and should be understood to include all effects that can be inferred from the description of the present invention or the configuration of the invention described in the claims.
도 1은 본 발명의 일 실시예에 따른 화상 회의 서비스 제공 시스템(10)의 구성을 나타낸 도면.
도 2는 본 발명의 일 실시예에 따른 화상 회의 서비스 제공 장치(100)의 구성을 나타낸 블록도.
도 3은 본 발명의 일 실시예에 따른 화상 회의 화자 감지 방법을 설명하는 흐름도.
도 4는 본 발명의 일 실시예에 따른 화상 회의 서비스 제공 장치가 제공하는 화자 자동 표시 화면을 설명하는 도면.
도 5는 본 발명의 일 실시예에 따른 화자 자동 표시 방법을 설명하는 흐름도.
도 6은 본 발명의 일 실시예에 따른 화상 회의 서비스 제공 장치가 제공하는 화자 수동 표시 화면을 설명하는 도면.
도 7은 본 발명의 일 실시예에 따른 화자 수동 표시 방법을 설명하는 흐름도.
도 8은 본 발명의 일 실시예에 따른 화상 회의 서비스 제공 장치가 제공하는 편집 화면을 설명하는 도면.
도 9는 본 발명의 일 실시예에 따른 화면 편집 방법을 설명하는 흐름도.
도 10은 본 발명의 일 실시예에 따른 화상 회의 서비스 제공 장치가 제공하는 자막 화면을 설명하는 도면
도 11은 본 발명의 일 실시예에 따른 자막 제공 방법을 설명하는 흐름도.
도 12는 본 발명의 일 실시예에 따른 화상 회의 서비스 제공 장치가 제공하는 통번역 화면을 설명하는 도면.
도 13은 본 발명의 일 실시예에 따른 통번역 제공 방법을 설명하는 흐름도.
도 14는 본 발명의 일 실시예에 따른 화상 회의 서비스 제공 장치가 제공하는 발언 요청 화면을 설명하는 도면.
도 15는 본 발명의 일 실시예에 따른 통번역 제공 방법을 설명하는 흐름도.
도 16은 본 발명의 일 실시예에 따른 화상 회의 서비스 제공 장치가 제공하는 음소거 상태 알림 화면을 설명하는 도면.
도 17은 본 발명의 일 실시예에 따른 화상 회의 서비스 제공 방법을 설명하는 흐름도.
도 18은 본 발명의 일 실시예에 따른 화상 회의 서비스 제공 장치가 제공하는 메모 내용이 포함된 회의록을 설명하는 도면.
도 19는 본 발명의 일 실시예에 따른 회의록 제공 방법을 설명하는 흐름도.
도 20은 본 발명의 일 실시예에 따른 화상 회의 서비스 제공 장치가 제공하는 편집 회의록을 설명하는 도면.
도 21은 본 발명의 일 실시예에 따른 편집 회의록 제공 방법을 설명하는 흐름도.
도 22는 본 발명의 다른 실시예에 따른 화상 회의 서비스 제공 장치가 제공하는 편집 회의록을 설명하는 도면.
도 23은 본 발명의 다른 실시예에 따른 편집 회의록 제공 방법을 설명하는 흐름도.
도 24는 본 발명의 다른 실시예에 따른 화상 회의 서비스 제공 장치가 제공하는 편집 회의록을 설명하는 도면.
도 25는 본 발명의 다른 실시예에 따른 편집 회의록 제공 방법을 설명하는 흐름도.
도 26은 본 발명의 다른 실시예에 따른 화상 회의 서비스 제공 장치가 제공하는 편집 회의록을 설명하는 도면.
도 27은 본 발명의 다른 실시예에 따른 편집 회의록 제공 방법을 설명하는 흐름도.
도 28은 본 발명의 다른 실시예에 따른 화상 회의 서비스 제공 장치가 제공하는 편집 회의록을 설명하는 도면.
도 29는 본 발명의 다른 실시예에 따른 편집 회의록 제공 방법을 설명하는 흐름도.
도 30은 본 발명의 다른 실시예에 따른 화상 회의 서비스 제공 장치가 제공하는 출석부를 설명하는 도면.
도 31은 본 발명의 다른 실시예에 따른 출석부 제공 방법을 설명하는 흐름도.
도 32는 본 발명의 다른 실시예에 따른 오탈자 수정 방법을 설명하는 흐름도.
도 33은 본 발명의 다른 일 실시예에 따른 화상 회의 서비스 제공 방법을 설명하는 흐름도.1 is a diagram showing the configuration of a video conference service providing system 10 according to an embodiment of the present invention.
2 is a block diagram showing the configuration of a video conference
3 is a flowchart illustrating a method for detecting a speaker in a video conference according to an embodiment of the present invention.
4 is a diagram illustrating an automatic speaker display screen provided by a video conference service providing apparatus according to an embodiment of the present invention;
5 is a flowchart illustrating a method for automatically displaying a speaker according to an embodiment of the present invention.
6 is a diagram illustrating a manual display screen for a speaker provided by a video conference service providing device according to an embodiment of the present invention;
7 is a flowchart illustrating a method for manually displaying a speaker according to an embodiment of the present invention.
8 is a diagram for explaining an editing screen provided by a video conference service providing apparatus according to an embodiment of the present invention;
9 is a flowchart illustrating a screen editing method according to an embodiment of the present invention.
10 is a diagram illustrating a caption screen provided by a video conference service providing device according to an embodiment of the present invention.
11 is a flowchart illustrating a method of providing subtitles according to an embodiment of the present invention.
12 is a diagram for explaining an interpretation/translation screen provided by a video conference service providing apparatus according to an embodiment of the present invention;
13 is a flowchart illustrating a method of providing interpretation and translation according to an embodiment of the present invention.
14 is a view for explaining a speech request screen provided by a video conference service providing apparatus according to an embodiment of the present invention;
15 is a flowchart illustrating a method of providing interpretation and translation according to an embodiment of the present invention.
16 is a diagram illustrating a mute state notification screen provided by a video conference service providing device according to an embodiment of the present invention;
17 is a flowchart illustrating a video conference service providing method according to an embodiment of the present invention.
18 is a view for explaining meeting minutes including memo contents provided by a video conference service providing apparatus according to an embodiment of the present invention;
19 is a flowchart illustrating a method for providing meeting minutes according to an embodiment of the present invention.
20 is a diagram for explaining editing minutes provided by a video conference service providing apparatus according to an embodiment of the present invention;
21 is a flowchart illustrating a method for providing editorial minutes according to an embodiment of the present invention.
22 is a diagram for explaining editing minutes provided by a video conference service providing device according to another embodiment of the present invention;
23 is a flowchart illustrating a method for providing editorial minutes according to another embodiment of the present invention.
24 is a diagram for explaining editing minutes provided by a video conference service providing device according to another embodiment of the present invention;
25 is a flowchart illustrating a method for providing editorial minutes according to another embodiment of the present invention.
26 is a diagram for explaining editing minutes provided by a video conference service providing apparatus according to another embodiment of the present invention;
27 is a flowchart illustrating a method for providing editorial minutes according to another embodiment of the present invention.
28 is a diagram for explaining editing minutes provided by a video conference service providing apparatus according to another embodiment of the present invention;
29 is a flowchart illustrating a method for providing editorial minutes according to another embodiment of the present invention.
30 is a diagram illustrating an attendance book provided by a video conference service providing device according to another embodiment of the present invention.
31 is a flow chart illustrating a method of providing attendance according to another embodiment of the present invention.
32 is a flowchart illustrating a typo correction method according to another embodiment of the present invention.
33 is a flowchart illustrating a video conference service providing method according to another embodiment of the present invention.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서 및 청구항에서 사용되는 단수 표현은, 달리 언급하지 않는 한 일반적으로 "하나 이상"을 의미하는 것으로 해석되어야 한다.Since the present invention can make various changes and have various embodiments, specific embodiments are illustrated in the drawings and will be described in detail through detailed description. However, this is not intended to limit the present invention to specific embodiments, and should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention. In describing the present invention, if it is determined that a detailed description of related known technologies may unnecessarily obscure the subject matter of the present invention, the detailed description will be omitted. Also, as used in this specification and claims, the terms "a" and "an" are generally to be construed to mean "one or more" unless stated otherwise.
이하, 본 발명의 바람직한 실시 예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. do it with
도 1은 본 발명의 일 실시예에 따른 화상 회의 서비스 제공 시스템(10)의 구성을 나타낸 도면이다. 도 1을 참조하면, 본 발명의 일 실시예에 따른 화상 회의 서비스 제공 시스템(10)은 화상 회의 서비스 제공 장치(100) 및 복수의 사용자 단말(200)을 포함할 수 있다. 1 is a diagram showing the configuration of a video conference service providing system 10 according to an embodiment of the present invention. Referring to FIG. 1 , a video conference service providing system 10 according to an embodiment of the present invention may include a video conference
화상 회의 서비스 제공 장치(100)는 유무선 네트워크 통신을 통해 각각의 사용자 단말(200)과 연결된다. The video conference
화상 회의 서비스 제공 장치(100)는 사용자 단말(200)로부터 화상 회의 데이터를 수신하고, 사용자 단말(200)로 화상 회의 컨텐츠를 송신한다. 예를 들어, 화상 회의 서비스 제공 장치(100)는 사용자 단말(200)로부터 수신한 사용자 영상 및 사용자 음성을 포함하는 화상 회의 컨텐츠를 생성하여 각각의 사용자 단말(200)로 송신할 수 있다. 화상 회의 데이터는 사용자 영상, 사용자 음성 이외에도 사용자 이름, 캐릭터, 생년월일, ip 주소 등의 사용자 식별 정보를 포함할 수 있다. The video conference
화상 회의 서비스 제공 장치(100)는 화상 회의 컨텐츠에서 화자로 판단된 사용자 영상을 강조하여 표시할 수 있다. The video conferencing
화상 회의 서비스 제공 장치(100)는 사용자 단말(200)로부터 이름표 생성 요청을 수신할 경우, 사용자의 이름을 추출하여 화상 회의 컨텐츠에 사용자의 이름을 표시할 수 있다.When receiving a name tag generation request from the
화상 회의 서비스 제공 장치(100)는 사용자 단말(200)로부터 테두리 강조 요청을 수신할 경우, 사용자 영상의 테두리 색상을 변경할 수 있다.When receiving a request for edge enhancement from the
화상 회의 서비스 제공 장치(100)는 사용자 단말(200)로부터 캐릭터 표시 요청을 수신할 경우, 사용자 영상을 캐릭터로 변환할 수 있다.When receiving a character display request from the
화상 회의 서비스 제공 장치(100)는 사용자 단말(200)로부터 화면 편집 요청을 수신할 경우 화상 회의 컨텐츠를 드래그 앤 드롭 하여 원하는 영상을 분리하거나, 리사이징 하여 영상의 크기를 변경할 수 있다.When receiving a screen editing request from the
화상 회의 서비스 제공 장치(100)는 자막생성부(105)로부터 생성된 자막 정보를 표시할 수 있다.The video conference
화상 회의 서비스 제공 장치(100)는 통번역부(106)로부터 생성된 통번역 정보를 표시할 수 있다.The video conference
화상 회의 서비스 제공 장치(100)는 사용자 단말(200)로부터 발언 요청을 수신할 경우 발언 중인 화자를 확인하여 사용자 음성을 제어할 수 있다. When receiving a speech request from the
화상 회의 서비스 제공 장치(100)는 발언 요청을 통해 발원권을 받은 사용자 단말(200)이 음소거 상태일 때, 음소거 상태를 알려주는 화면을 생성할 수 있다.The video conference
화상 회의 서비스 제공 장치(100)는 사용자가 회의 중 회의 관련 메모를 기록할 경우, 회의록 생성 시 메모 정보를 포함한 회의록을 생성할 수 있다.When a user records meeting-related memos during a meeting, the video conference
화상 회의 서비스 제공 장치(100)는 사용자가 검색한 회의 내용과 대응하는 회의 정보를 추출하여 편집 회의록을 생성할 수 있다.The
화상 회의 서비스 제공 장치(100)는 사용자가 선택한 화자에 대응하는 문자 정보를 포함한 편집 회의록을 생성할 수 있다.The video conference
화상 회의 서비스 제공 장치(100)는 사용자가 검색한 회의 시간에 대응하는 문자 정보를 포함한 편집 회의록을 생성할 수 있다.The
화상 회의 서비스 제공 장치(100)는 회의 정보를 이용하여 회의 참여도 정보를 생성하고, 회의 참여도 정보가 포함된 회의록을 생성할 수 있다.The
화상 회의 서비스 제공 장치(100)는 통번역부(106)로부터 통번역 정보를 수신할 경우, 번역 텍스트를 이용하여 편집 회의록을 생성할 수 있다. When receiving translation information from the interpretation/
화상 회의 서비스 제공 장치(100)는 얼굴 인식 수행 결과 회의 시작 전 참석 화면과 회의 중 참석 화면에 포함된 인물을 다른 인물로 판단할 경우, 참석부 화면에 얼굴 인식 결과 불일치 텍스트를 포함할 수 있다.When the
사용자 단말(200)은 화상 회의를 실시하기 위해 사용되는 장치로, 사용자의 영상을 촬영하고 음성을 녹음하는 기능을 포함하는 데스크탑, 노트북, 스마트폰, PDA 등과 같은 전자 기기 또는 스마트 글래스, 스마트 고글 등과 같은 웨어러블 기기 등을 포함할 수 있으며, 본 발명이 이에 한정되는 것은 아니다. The
사용자 단말(200)은 비디오 입력 모듈을 통해 사용자 영상을 획득할 수 있으며, 오디오 입력 모듈을 통해 사용자 음성을 획득할 수 있고, 다양한 방식의 입력 모듈을 통해 사용자 화상 회의 참여 정보를 획득할 수 있다. 사용자 단말(200)은 획득한 사용자 영상, 사용자 음성, 사용자 식별 정보 등을 화상 회의 서비스 제공 장치(100)로 전송할 수 있다. The
사용자 단말(200)은 화상 회의 서비스 제공 장치(100)로부터 수신한 화상 회의 컨텐츠를 화면 상에 출력할 수 있다. 여기서, 사용자는 입력 모듈을 이용하여 사용자 요청 정보를 입력하여 화상 회의 컨텐츠를 변경할 수 있다. 즉, 사용자 단말(200)은 사용자의 기호에 따라 화상 회의 컨텐츠를 커스터마이징 할 수 있다. The
사용자 단말(200)은 서로 다른 공간 상에 위치할 수 있다. 또한, 사용자들은 사용자 단말(200)에서 출력되는 화면을 통해 발언 중인 화자를 감지할 수 있으며, 회의 내용을 기반으로 생성된 회의록을 제공받을 수 있다. The
도 2는 본 발명의 일 실시예에 따른 화상 회의 서비스 제공 장치(100)의 구성을 나타낸 블록도이다. 2 is a block diagram showing the configuration of a video conference
도 2를 참조하면, 본 발명의 일 실시예에 따른 화상 회의 서비스 제공 장치(100)는 통신부(101), 회의컨텐츠부(102), 화자감지부(103), 출력제어부(104), 음성인식부(105), 통번역부(106), 회의록생성부(107), 회의참석판단부(108) 및 저장부(109)를 포함할 수 있다. Referring to FIG. 2 , an
통신부(101)는 유무선 네트워크를 통해 사용자 단말(200)과 통신을 수행한다. 예를 들어, 통신부(101)는 LANs(Local Area Networks), WANs(Wide Area Networks), MANs(Metropolitan Area Networks), ISDNs(Integrated Service Digital Networks) 등의 유선 네트워크나, 무선 LANs, CDMA, 블루투스, 위성 통신 등의 무선 네트워크를 이용할 수 있으나, 본 발명이 이에 한정되는 것은 아니다. The
통신부(101)는 통신 연결된 사용자 단말(200)로부터 화상 회의 데이터를 수신한다. 여기서, 화상 회의 데이터는 사용자 영상, 사용자 음성뿐만 아니라 사용자 이름, 캐릭터, 생년월일, ip 주소 등의 사용자 식별 정보 등을 포함할 수 있다. 통신부(101)는 수신한 화상 회의 데이터를 저장부(109)에 저장할 수 있다. The
회의컨텐츠부(102)는 각각의 사용자 단말(200)로부터 화상 회의 데이터를 수신하면, 회의를 진행할 수 있는 회의실을 생성한다. 구체적으로, 회의컨텐츠부(102)는 3개의 사용자 단말(200)로부터 화상 회의 데이터를 수신할 경우, 회의실을 생성하여 3개의 사용자 단말(200)을 생성된 회의실에 입장할 수 있도록 한다. When video conference data is received from each
이 때, 회의컨텐츠부(102)는 사용자 단말(200)에 대한 초대 확인 절차를 수행할 수 있다. 예를 들어, 회의컨텐츠부(102)는 생성된 회의실에 미리 초대된 사용자만 참석할 수 있도록 별도의 암호를 설정할 수 있다. 이를 통해, 회의컨텐츠부(102)는 암호를 올바르게 입력한 사용자에게만 회의실에 입장할 수 있도록 함으로써 회의 진행 내용에 대한 보안을 강화할 수 있다. At this time, the
회의컨텐츠부(102)는 회의실을 생성하면 각각의 사용자 단말(200)로부터 수신한 화상 회의 데이터를 이용하여 화상 회의 컨텐츠를 생성한다. 예를 들어, 회의컨텐츠부(102)는 4개의 사용자 단말(200)과 연결된 경우, 4개의 화상 회의 데이터를 포함한 화상 회의 컨텐츠를 생성할 수 있다. 여기서, 화상 회의 컨텐츠는 사용자의 음성, 사용자의 영상을 포함하여 생성된다. When a meeting room is created, the
회의컨텐츠부(102)는 생성된 화상 회의 컨텐츠를 사용자 단말(200)로 전송할 수 있다. 또한, 회의컨텐츠부(102)는 생성된 화상 회의 컨텐츠를 저장부(109)에 저장할 수 있다. The
화자감지부(103)는 사용자의 음성을 기반으로 화자를 판단한다. 구체적으로, 화자감지부(103)는 화상 회의 데이터에 포함된 사용자의 음성을 이용하여 음성의 세기 및 음성의 지속시간을 분석한다. 화자감지부(103)는 사용자 음성의 세기가 기설정된 수치를 초과하고, 사용자 음성의 지속시간이 기설정된 시간 이상으로 확인될 경우, 사용자의 음성을 화자로 판단한다. 이 때, 화자감지부(103)는 화자 정보를 생성하여 출력제어부(104)로 전송할 수 있다. The
출력제어부(104)는 화자감지부(103)로부터 화자 정보를 수신할 경우, 화자 정보를 기반으로 화상 회의 컨텐츠를 제어할 수 있다. 예를 들어, 출력제어부(104)는 화상 회의 컨텐츠에서 화자로 판단된 사용자 영상을 강조하여 복수의 사용자 단말로 제공함으로써 회의 참가자들이 화자를 시각적으로 확인할 수 있도록 한다. When receiving speaker information from the
또한, 출력제어부(104)는 사용자 단말(200)로부터 화자 수동 표시 요청 신호를 수신할 경우, 화상 회의 컨텐츠를 제어한다. 즉, 출력제어부(104)는 화자감지부(103)로부터 화자 정보를 수신하지 않아도, 사용자 단말의 화자 수동 표시 요청에 따라 복수의 사용자 단말에 대해 화상 회의 컨텐츠를 제어할 수 있다. 예를 들어, 출력제어부(104)는 사용자 단말(200)로부터 이름표 생성 요청을 수신할 경우, 사용자의 이름을 추출하여 화상 회의 컨텐츠에 사용자의 이름을 표시할 수 있다. 출력제어부(104)는 사용자 단말(200)로부터 테두리 강조 요청을 수신할 경우, 화상 회의 컨텐츠에서 수동 표시 요청한 사용자 영상을 강조할 수 있다. 출력제어부(104)는 사용자 단말(200)로부터 캐릭터 추출 요청을 수신할 경우, 화상 회의 컨텐츠에서 사용자의 영상을 캐릭터로 변경할 수 있다. In addition, when receiving a manual speaker display request signal from the
출력제어부(104)는 사용자 단말(200)로부터 화면 변경 요청을 수신할 경우, 사용자의 입력에 따라 화상 회의 컨텐츠를 드래그 앤 드롭 또는 리사이징하여 요청한 사용자 단말(200)로 전송할 수 있다.When receiving a screen change request from the
출력제어부(104)는 문자변환부(105)로부터 자막 정보를 수신할 경우, 자막 정보를 기반으로 화상 회의 컨텐츠에서 자막 화면을 생성할 수 있다. When receiving caption information from the
출력제어부(104)는 통번역부(106)로부터 통번역 정보를 수신할 경우, 번역 텍스트 또는 통역 음성 중 적어도 하나를 화상 회의 컨텐츠에 표시할 수 있다. When receiving translation information from the interpretation/
이외에도, 출력제어부(104)는 사용자 단말(200)의 요청 신호에 따라 화상 회의 컨텐츠를 다양하게 제어할 수 있다. In addition, the
음성인식부(105)는 수신한 사용자 음성을 인식한다. 구체적으로, 음성인식부(105)는 사용자 음성에 대한 특징 정보를 추출하고, 추출된 특징 정보를 학습된 모델에 입력하여 사용자 음성을 인식을 수행함으로써 사용자의 음성을 문자로 변환할 수 있다. 여기서, 음성인식부(105)는 변환된 문자를 이용하여 문자 정보, 자막 정보 등을 생성할 수 있다. 음성인식부(105)는 문자 정보, 자막 정보를 출력제어부(104) 또는 회의록생성부(107)로 전송할 수 있다. The
통번역부(106)는 수신한 사용자 음성을 기반으로 통번역 요청 언어에 대응하는 번역 텍스트를 생성한다. 예를 들어, 통번역부(106)는 사용자 단말(200)로부터 사용자 음성에 대한 영어 통번역을 요청 받을 경우, 수신한 사용자 음성에 대응하는 영어 통번역 정보를 생성한다. 여기서, 통번역 정보는 사용자가 통번역을 요청한 언어의 번역 텍스트 및 통역 음성을 포함할 수 있다. 통번역부(106)는 생성된 통번역 정보를 출력제어부(104) 또는 회의록생성부(107)로 전송할 수 있다. The interpretation/
회의록생성부(107)는 회의를 통해 생성된 회의 정보를 이용하여 회의록을 생성한다. 여기서, 회의 정보는 문자 정보, 자막 정보, 통번역 정보 등을 포함할 수 있으며, 회의록생성부(107)는 문자 정보, 자막 정보, 통번역 정보 중 적어도 하나를 기반으로 회의록을 생성할 수 있다. 여기서, 회의록생성부(107)는 회의 중 작성된 메모가 존재할 경우, 메모 정보를 병합한 회의록을 생성할 수 있다. The meeting
회의록생성부(107)는 사용자의 요청에 따라 다양한 형식의 편집 회의록을 생성할 수 있다. The meeting
예를 들어, 회의록생성부(107)는 사용자 단말로부터 회의 내용 검색 요청을 수신할 경우, 검색된 회의 내용과 대응하는 회의 정보를 추출하여 편집 회의록을 생성할 수 있다. For example, when receiving a search request for meeting content from a user terminal, the meeting
회의록생성부(107)는 사용자 단말로부터 화자 한정 회의 내용 검색 요청을 수신할 경우, 선택된 화자와 대응하는 회의 정보를 추출하여 편집 회의록을 생성할 수 있다. When receiving a speaker-limited conference content search request from the user terminal, the meeting
회의록생성부(107)는 사용자 단말로부터 시간 한정 회의 내용 검색 요청을 수신할 경우, 검색된 시간과 대응하는 회의 정보를 추출하여 편집 회의록을 생성할 수 있다. When receiving a search request for content of a time-limited meeting from a user terminal, the meeting
회의록생성부(107)는 사용자 단말로부터 회의 내용 통계 요청을 수신할 경우, 회의 정보를 이용하여 회의 참여도 정보를 생성하고, 회의 참여도 정보가 포함된 편집 회의록을 생성할 수 있다. 여기서, 회의 참여도 정보는 화자별 회의 참여도를 나타내는 그래프를 포함하는 정보이다. 회의록생성부(107)는 기설정된 기준에 따라 회의 정보를 이용하여 화자별 회의 참여도 정보를 생성할 수 있다. When receiving a request for statistics on conference contents from the user terminal, the meeting
회의록생성부(107)는 통번역부(106)로부터 통번역 정보를 수신할 경우, 번역 텍스트를 이용하여 편집 회의록을 생성할 수 있다. When receiving translation information from the interpretation/
회의참석판단부(108)는 회의 시작 전 및 회의 중 참석 화면을 수신하고, 두 화면을 입력으로 AI 기반 얼굴 인식을 수행하여 동일 인물 여부 확인 절차를 수행할 수 있다. 또한, 얼굴 인식 결과에 따라 출석 및 결석 정보를 생성하여 참석 화면과 함께 출석 여부를 확인할 수 있는 출석부를 제공할 수 있다. The meeting
저장부(109)는 화상 회의를 통해 생성된 정보들을 저장한다. 예를 들어, 저장부(109)는 문자 정보, 자막 정보, 통번역 정보 등을 저장한다. 여기서, 저장부(109)는 문자 정보, 자막 정보 및 통번역 정보에서 맞춤법 판단을 수행하여 오탈자 또는 변한되지 않은 문장을 수정하여 저장할 수 있다. The
도 3은 본 발명의 일 실시예에 따른 화상 회의 화자 감지 방법을 설명하는 흐름도이다. 3 is a flowchart illustrating a method for detecting a speaker in a video conference according to an embodiment of the present invention.
도 3을 참조하면, S301에서 화상 회의 서비스 제공 장치(100)는 사용자 단말(200)과 통신을 수행한다. Referring to FIG. 3 , in S301 , the video conference
S303에서 화상 회의 서비스 제공 장치(100)는 사용자 단말(200)로부터 화상 회의 데이터를 수신한다. In S303, the video conference
S305에서 화상 회의 서비스 제공 장치(100)는 수신한 각각의 화상 회의 데이터에서 사용자 음성의 세기가 기설정된 수치를 초과할 경우, S307로 이동한다. In S305, the video conference
S307에서 화상 회의 서비스 제공 장치(100)는 수신한 각각의 사용자 음성의 지속시간이 기설정된 시간 이상일 경우, S309로 이동한다. In S307, when the duration of each user's voice received is longer than a predetermined time, the video conference
S309에서 화상 회의 서비스 제공 장치(100)는 사용자의 음성을 화자로 판단하고, 화자 정보를 포함하는 화상 회의 컨텐츠를 생성한다. In S309, the video conference
S311에서 화상 회의 서비스 제공 장치(100)는 사용자 단말(200)로 생성된 화자 정보를 포함한 화상 회의 컨텐츠를 전송한다. In S311 , the video conference
S313에서 화상 회의 서비스 제공 장치(100)는 사용자 음성의 세기가 기설정된 수치를 초과하지 않거나 사용자 음성의 지속시간이 기설정된 시간 미만일 경우, 화자 정보를 포함하지 않은 화상 회의 컨텐츠를 생성한다.In operation S313, the video conference
S315에서 화상 회의 서비스 제공 장치(100)는 사용자 단말(200)로 화상 회의 컨텐츠를 전송한다.In S315 , the video conference
도 4는 본 발명의 일 실시예에 따른 화상 회의 서비스 제공 장치가 제공하는 화자 자동 표시 화면을 설명하는 도면이다. 4 is a diagram illustrating an automatic speaker display screen provided by a video conference service providing apparatus according to an embodiment of the present invention.
도 4를 참조하면, 출력제어부(104)는 화상 회의 컨텐츠에서 화자로 판단된 사용자 영상을 강조하여 표시할 수 있다. 예를 들어, 출력제어부(104)는 화자로 판단된 사용자 영상의 테두리 색상을 변경(a)하거나, 테두리의 두께를 변경하거나(b), 사용자 영상의 크기를 확대할 수 있다(c). Referring to FIG. 4 , the
도 5는 본 발명의 일 실시예에 따른 화자 자동 표시 방법을 설명하는 흐름도이다. 5 is a flowchart illustrating a method for automatically displaying a speaker according to an embodiment of the present invention.
도 5를 참조하면, S501에서 화상 회의 서비스 제공 장치(100)는 화자감지부(103)로부터 수신한 화자 정보를 확인한다. Referring to FIG. 5 , in S501 , the
S503에서 화상 회의 서비스 제공 장치(100)는 화상 회의 컨텐츠에서 화자로 판단된 사용자 영상을 강조한다. 예를 들어, 화상 회의 서비스 제공 장치(100)는 화자로 판단된 사용자 영상의 테두리 색상을 변경하거나, 테두리의 두께를 변경하거나, 사용자 영상의 크기를 확대할 수 있으며, 사용자의 설정에 의해 사용자 영상의 강조 방식이 선택될 수 있다. In S503, the video conference
S505에서 화상 회의 서비스 제공 장치(100)는 사용자 단말(200)로 사용자 영상이 강조된 화상 회의 컨텐츠를 전송한다. In S505 , the video conference
도 6은 본 발명의 일 실시예에 따른 화상 회의 서비스 제공 장치가 제공하는 화자 수동 표시 화면을 설명하는 도면이다. 6 is a diagram illustrating a manual display screen for a speaker provided by a video conference service providing device according to an embodiment of the present invention.
도 6을 참조하면, 화상 회의 서비스 제공 장치(100)는 사용자 단말(200)로부터 이름표 생성 요청을 수신할 경우, 사용자의 이름을 추출하여 화상 회의 컨텐츠에 사용자의 이름을 표시할 수 있다. 또한, 화상 회의 서비스 제공 장치(100)는 테두리 강조 요청을 수신할 경우, 사용자 영상의 테두리 색상을 변경할 수 있다. 또한, 화상 회의 서비스 제공 장치(100)는 캐릭터 표시 요청을 수신할 경우, 사용자 영상을 캐릭터로 변환할 수 있다. 화상 회의 서비스 제공 장치(100)는 변경된 화상 회의 컨텐츠를 연결된 사용자 단말(200)로 전송할 수 있다. Referring to FIG. 6 , when receiving a name tag generation request from the
도 7은 본 발명의 일 실시예에 따른 화자 수동 표시 방법을 설명하는 흐름도이다. 7 is a flowchart illustrating a method for manually displaying a speaker according to an embodiment of the present invention.
도 7을 참조하면, S701에서 화상 회의 서비스 제공 장치(100)는 사용자 단말(200)로부터 화자 수동 표시 요청을 수신한다. Referring to FIG. 7 , the video conference
S702에서 화상 회의 서비스 제공 장치(100)는 이름표 생성 요청을 수신한 경우, S703으로 이동한다. When the video conferencing
S703에서 화상 회의 서비스 제공 장치(100)는 사용자 단말(200)로부터 수신한 화상 회의 데이터에서 사용자 이름을 추출한다. In S703, the video conference
S704에서 화상 회의 서비스 제공 장치(100)는 화상 회의 컨텐츠에서 사용자의 영상에 사용자 이름표를 생성한다. In S704, the video conference
S705에서 화상 회의 서비스 제공 장치(100)는 사용자 단말(200)로 사용자 이름표가 생성된 화상 회의 컨텐츠를 전송한다. In S705, the video conference
S706에서 화상 회의 서비스 제공 장치(100)는 테두리 강조 요청을 수신한 경우 S707로 이동한다.When the video conference
S707에서 화상 회의 서비스 제공 장치(100)는 화상 회의 컨텐츠에서 사용자 영상을 강조한다. 예를 들어, 화상 회의 서비스 제공 장치(100)는 화상 회의 컨텐츠에서 수신한 사용자 영상의 테두리 색상을 변경하거나 두께를 변경할 수 있다. In S707, the video conference
S708에서 화상 회의 서비스 제공 장치(100)는 사용자 단말(200)로 사용자 영상이 강조된 화상 회의 컨텐츠를 전송한다. In S708 , the video conference
S709에서 화상 회의 서비스 제공 장치(100)는 사용자 단말(200)로부터 수신한 화상 회의 데이터에서 사용자 캐릭터를 추출한다. In S709, the video conference
S710에서 화상 회의 서비스 제공 장치(100)는 사용자의 영상에 사용자 캐릭터를 생성한다. In S710, the video conference
S711에서 화상 회의 서비스 제공 장치(100)는 사용자 단말(200)로 사용자 캐릭터가 생성된 화상 회의 컨텐츠를 전송한다. In S711 , the video conference
도 8은 본 발명의 일 실시예에 따른 화상 회의 서비스 제공 장치가 제공하는 편집 화면을 설명하는 도면이다. 8 is a diagram illustrating an editing screen provided by a video conference service providing apparatus according to an embodiment of the present invention.
도 8을 참조하면, 화상 회의 서비스 제공 장치(100)는 사용자 단말(200)로부터 화면 편집 요청을 수신할 경우 화상 회의 컨텐츠를 드래그 앤 드롭 하여 원하는 영상을 분리하거나, 리사이징 하여 영상의 크기를 변경할 수 있다. Referring to FIG. 8 , when receiving a screen editing request from the
도 9는 본 발명의 일 실시예에 따른 화면 편집 방법을 설명하는 흐름도이다.9 is a flowchart illustrating a screen editing method according to an embodiment of the present invention.
도 9를 참조하면, S901에서 화상 회의 서비스 제공 장치(100)는 사용자 단말(200)로부터 화면 편집 요청을 수신한다. Referring to FIG. 9 , the video conference
S902에서 화상 회의 서비스 제공 장치(100)는 드래그 앤 드롭 요청을 수신한 경우, S903으로 이동한다.When the video conference
S903에서 화상 회의 서비스 제공 장치(100)는 사용자 단말(200)로부터 수신한 화상 회의 데이터에서 사용자 이름을 추출한다. In S903, the video conference
S904에서 화상 회의 서비스 제공 장치(100)는 화상 회의 컨텐츠에 포함된 사용자의 영상에 사용자 이름표를 생성한다. In S904, the video conference
S905에서 화상 회의 서비스 제공 장치(100)는 사용자 단말(200)로 사용자 이름표가 생성된 화상 회의 컨텐츠를 전송한다. In S905, the video conference
S906에서 화상 회의 서비스 제공 장치(100)는 테두리 강조 요청을 수신한 경우 화상 회의 컨텐츠에서사용자 영상을 강조한다. 예를 들어, 화상 회의 서비스 제공 장치(100)는 화상 회의 컨텐츠에 포함된 사용자 영상의 테두리 색상을 변경하거나 두께를 변경할 수 있다.In S906, the video conference
도 10은 본 발명의 일 실시예에 따른 화상 회의 서비스 제공 장치가 제공하는 자막 화면을 설명하는 도면이다. 10 is a diagram illustrating a caption screen provided by a video conference service providing apparatus according to an embodiment of the present invention.
도 10을 참조하면, 화상 회의 서비스 제공 장치(100)는 자막생성부(105)로부터 생성된 자막 정보를 표시할 수 있다. 예를 들어, 화상 회의 서비스 제공 장치(100)는 자막 정보를 기반으로 화상 회의 컨텐츠에 자막 화면을 생성할 수 있다. Referring to FIG. 10 , the video conference
도 11은 본 발명의 일 실시예에 따른 자막 제공 방법을 설명하는 흐름도이다. 11 is a flowchart illustrating a method of providing captions according to an embodiment of the present invention.
도 11을 참조하면, S1101에서 화상 회의 서비스 제공 장치(100)는 사용자 단말(200)로부터 자막 요청을 수신한다. Referring to FIG. 11 , the video conference
S1102에서 화상 회의 서비스 제공 장치(100)는 화상 회의 데이터에서 사용자 음성을 추출하여 STT(Speech To Text)를 기반으로 자막 정보로 변환한다. In S1102, the video conference
S1103에서 화상 회의 서비스 제공 장치(100)는 자막 정보를 기반으로 화상 회의 컨텐츠에 자막 화면을 생성한다. In S1103, the video conference
S1104에서 화상 회의 서비스 제공 장치(100)는 사용자 단말(200)로 자막 화면이 생성된 화상 회의 컨텐츠를 전송한다.In operation S1104, the video conference
도 12는 본 발명의 일 실시예에 따른 화상 회의 서비스 제공 장치가 제공하는 통번역 화면을 설명하는 도면이다. 12 is a diagram illustrating an interpretation/translation screen provided by a video conference service providing device according to an embodiment of the present invention.
도 12를 참조하면, 화상 회의 서비스 제공 장치(100)는 통번역부(106)로부터 생성된 통번역 정보를 표시할 수 있다. 예를 들어, 화상 회의 서비스 제공 장치(100)는 사용자의 통번역 언어 선택에 따라 생성된 통번역 정보를 기반으로 화상 회의 컨텐츠에 텍스트 및/또는 음성을 생성할 수 있다. Referring to FIG. 12 , the video conference
도 13은 본 발명의 일 실시예에 따른 통번역 제공 방법을 설명하는 흐름도이다.13 is a flowchart illustrating a method of providing interpretation and translation according to an embodiment of the present invention.
도 13을 참조하면, S1301에서 화상 회의 서비스 제공 장치(100)는 사용자 단말(200)로부터 통번역 요청을 수신한다. Referring to FIG. 13 , the video conference
S1302에서 화상 회의 서비스 제공 장치(100)는 화상 회의 데이터에서 사용자 음성을 추출하여 음성 데이터의 언어를 판단한다. In S1302, the video conference
S1303에서 화상 회의 서비스 제공 장치(100)는 통번역 요청 언어에 대응하는 번역 텍스트를 생성한다.In S1303, the video conference
S1304에서 화상 회의 서비스 제공 장치(100)는 TTS(?? 뭐에 대한 약자인가요?)를 기반으로 번역 텍스트에 대한 통역 음성 정보를 생성한다. In S1304, the video conference
S1305에서 화상 회의 서비스 제공 장치(100)는 화상 회의 데이터에 통역 음성 및 번역 텍스트를 포함한다. In S1305, the video conference
S1306에서 화상 회의 서비스 제공 장치(100)는 사용자 단말(200)로 통역 음성 및 번역 텍스트가 포함된 화상 회의 컨텐츠를 전송한다.In operation S1306, the video conference
도 14는 본 발명의 일 실시예에 따른 화상 회의 서비스 제공 장치가 제공하는 발언 요청 화면을 설명하는 도면이다. 14 is a diagram illustrating a speech request screen provided by a video conference service providing apparatus according to an embodiment of the present invention.
도 14를 참조하면, 화상 회의 서비스 제공 장치(100)는 사용자 단말(200)로부터 발언 요청을 수신할 경우 발언 중인 화자를 확인하여 사용자 음성을 제어할 수 있다. Referring to FIG. 14 , when receiving a speech request from the
도 15는 본 발명의 일 실시예에 따른 통번역 제공 방법을 설명하는 흐름도이다.15 is a flowchart illustrating a method for providing interpretation and translation according to an embodiment of the present invention.
도 15를 참조하면, S1501에서 화상 회의 서비스 제공 장치(100)는 사용자 단말(200)로부터 발언 요청을 수신한다. Referring to FIG. 15 , the video conference
S1502에서 화상 회의 서비스 제공 장치(100)는 화자감지부(103)로부터 발언 중인 화자가 존재하는지 확인한다. In S1502, the video conferencing
S1503에서 화상 회의 서비스 제공 장치(100)는 화자가 존재할 경우 S1502로 이동한다. 화상 회의 서비스 제공 장치(100)는 화자가 존재하지 않을 경우 S1504로 이동한다. In S1503, the video conference
S1504에서 화상 회의 서비스 제공 장치(100)는 요청한 사용자 음성만을 출력하여 연결된 사용자 단말(200)로 전송한다. In S1504, the video conference
도 16은 본 발명의 일 실시예에 따른 화상 회의 서비스 제공 장치가 제공하는 음소거 상태 알림 화면을 설명하는 도면이다. 16 is a diagram illustrating a mute state notification screen provided by a video conference service providing device according to an embodiment of the present invention.
도 16을 참조하면, 화상 회의 서비스 제공 장치(100)는 발언 요청을 통해 발원권을 받은 사용자 단말(200)이 음소거 상태일 때, 음소거 상태를 알려주는 화면을 생성할 수 있다. 이 때, 출력제어부(104)는 화상 회의 컨텐츠에 음소거된 사용자의 영상에 대해 음소거 상태를 알리는 아이콘을 생성하거나 테두리 색상을 변경할 수 있다. Referring to FIG. 16 , the video conference
도 17은 본 발명의 일 실시예에 따른 화상 회의 서비스 제공 방법을 설명하는 흐름도이다.17 is a flowchart illustrating a video conference service providing method according to an embodiment of the present invention.
도 17을 참조하면, 화상 회의 서비스 제공 장치(100)는 복수의 사용자 단말(200')과 연동되어 회의실을 생성하고, 복수의 사용자를 회의실에 초대한다. Referring to FIG. 17 , the video conference
화상 회의 서비스 제공 장치(100)는 복수의 사용자 단말(200')과 영상 및 음성이 연결된다.The video conference
사용자가 발언을 시작하거나 녹음을 시작하면, 화상 회의 서비스 제공 장치(100)는 화자를 인식하여 화자를 감지하고 선정한다.When a user starts speaking or recording, the video conferencing
화상 회의 서비스 제공 장치(100)는 감지된 화자의 정보를 복수의 사용자 단말(200')로 전송한다.The video conferencing
복수의 사용자 단말(200')은 화자 화면을 표시한다.A plurality of user terminals 200' display a speaker screen.
사용자가 발언을 멈추거나 녹음을 중지하면, 화상 회의 서비스 제공 장치(100)는 화자의 발언이 멈춘 것을 인식하여 화자 감지를 해제한다.When the user stops talking or recording, the video conferencing
화상 회의 서비스 제공 장치(100)는 복수의 사용자 단말(200')로 화자 해제 정보를 전송한다. The video conference
복수의 사용자 단말(200')은 화자 화면 표시를 해제한다.The plurality of user terminals 200' release the display of the speaker screen.
회의가 끝나면, 복수의 사용자 단말(200')은 녹음된 파일을 화상 회의 서비스 제공 장치(100)로 전송한다. When the conference ends, the plurality of user terminals 200' transmit the recorded file to the video conference
화상 회의 서비스 제공 장치(100)는 녹음파일 및 화자 정보를 정보 저장소 또는 파일 저장소에 저장한다. The video conference
도 18은 본 발명의 일 실시예에 따른 화상 회의 서비스 제공 장치가 제공하는 메모 내용이 포함된 회의록을 설명하는 도면이다. 18 is a diagram illustrating meeting minutes including memo contents provided by a video conference service providing apparatus according to an embodiment of the present invention.
도 18을 참조하면, 화상 회의 서비스 제공 장치(100)는 사용자가 회의 중 회의 관련 메모를 기록할 경우, 회의록 생성 시 메모 정보를 포함한 회의록을 생성한다. Referring to FIG. 18 , when a user records meeting-related memos during a meeting, the video conferencing
도 19는 본 발명의 일 실시예에 따른 회의록 제공 방법을 설명하는 흐름도이다.19 is a flowchart illustrating a method for providing meeting minutes according to an embodiment of the present invention.
도 19를 참조하면, S1901에서 화상 회의 서비스 제공 장치(100)는 회의가 종료되면 회의를 통해 생성된 회의 정보를 저장한다. Referring to FIG. 19 , when the video conference
S1902에서 화상 회의 서비스 제공 장치(100)는 회의 정보에 메모 정보가 포함된 경우, S1903으로 이동한다.In S1902, when the video conference
S1903에서 화상 회의 서비스 제공 장치(100)는 메모 내용을 포함한 회의록을 생성한다. In S1903, the video conference
S1904에서 화상 회의 서비스 제공 장치(100)는 회의 정보에 메모 정보가 포함되지 않을 경우 사용자 요청에 따른 편집 회의록을 생성한다. In operation S1904, when the memo information is not included in the meeting information, the video conference
도 20은 본 발명의 일 실시예에 따른 화상 회의 서비스 제공 장치가 제공하는 편집 회의록을 설명하는 도면이다. 20 is a diagram for explaining an editing meeting record provided by a video conference service providing device according to an embodiment of the present invention.
도 20을 참조하면, 화상 회의 서비스 제공 장치(100)는 사용자가 검색한 회의 내용과 대응하는 회의 정보를 추출하여 편집 회의록을 생성한다. 예를 들어, 사용자가 “발언내용”을 검색할 경우, 화상 회의 서비스 제공 장치(100)는 “발언내용”과 대응하는 문자 정보를 추출할 수 있다. 여기서, 화상 회의 서비스 제공 장치(100)는 추출된 문자 정보를 화자 별로 구분하여 표시할 수 있다.Referring to FIG. 20 , the
도 21은 본 발명의 일 실시예에 따른 편집 회의록 제공 방법을 설명하는 흐름도이다.21 is a flowchart illustrating a method for providing editorial minutes according to an embodiment of the present invention.
도 21을 참조하면, S2101에서 화상 회의 서비스 제공 장치(100)는 사용자 단말로부터 회의 내용 검색 요청을 수신한다. Referring to FIG. 21 , in S2101, the video conference
S2102에서 화상 회의 서비스 제공 장치(100)는 검색된 회의 내용과 대응하는 문자 정보를 추출한다. In S2102, the video conference
S2103에서 화상 회의 서비스 제공 장치(100)는 화자 별로 문자 정보를 구분한 회의 내용을 생성한다.In S2103, the video conference
S2104에서 화상 회의 서비스 제공 장치(100)는 생성된 회의 내용을 기반으로 편집 회의록을 생성한다.In S2104, the video conference
도 22는 본 발명의 다른 실시예에 따른 화상 회의 서비스 제공 장치가 제공하는 편집 회의록을 설명하는 도면이다. 22 is a diagram illustrating an editing meeting transcript provided by a video conference service providing apparatus according to another embodiment of the present invention.
도 22를 참조하면, 화상 회의 서비스 제공 장치(100)는 사용자가 선택한 화자에 대응하는 문자 정보를 포함한 편집 회의록을 생성한다. 예를 들어, 사용자가 user1, user2 및 user3를 선택할 경우, 화상 회의 서비스 제공 장치(100)는 user1, user2 및 user3에 대응하는 문자 정보만을 추출할 수 있다. Referring to FIG. 22 , the
도 23은 본 발명의 다른 실시예에 따른 편집 회의록 제공 방법을 설명하는 흐름도이다.23 is a flowchart illustrating a method for providing editorial minutes according to another embodiment of the present invention.
도 23을 참조하면, S2301에서 화상 회의 서비스 제공 장치(100)는 사용자 단말로부터 화자 한정 회의 내용 검색 요청을 수신한다. Referring to FIG. 23 , in S2301, the
S2302에서 화상 회의 서비스 제공 장치(100)는 선택된 화자에 대응하는 문자 정보를 추출한다. In S2302, the video conference
S2303에서 화상 회의 서비스 제공 장치(100)는 화자 별 문자 정보를 구분한 회의 내용을 생성한다. 여기서, 화상 회의 서비스 제공 장치(100)는 해당 문자 정보에 대응하는 회의 시간을 회의 내용에 포함할 수도 있다. In S2303, the video conference
S2304에서 화상 회의 서비스 제공 장치(100)는 생성된 회의 내용을 기반으로 편집 회의록을 생성한다. In S2304, the video conference
도 24는 본 발명의 다른 실시예에 따른 화상 회의 서비스 제공 장치가 제공하는 편집 회의록을 설명하는 도면이다. 24 is a diagram illustrating an editing meeting record provided by a video conference service providing device according to another embodiment of the present invention.
도 24를 참조하면, 화상 회의 서비스 제공 장치(100)는 사용자가 검색한 회의 시간에 대응하는 문자 정보를 포함한 편집 회의록을 생성한다. 예를 들어, 사용자가 “00:00~01:00”를 검색할 경우, 화상 회의 서비스 제공 장치(100)는 해당 시간에 대응하는 문자 정보를 추출할 수 있다. 여기서, 화상 회의 서비스 제공 장치(100)는 추출된 문자 정보를 화자 별로 구분하여 표시할 수 있다.Referring to FIG. 24 , the
도 25는 본 발명의 다른 실시예에 따른 편집 회의록 제공 방법을 설명하는 흐름도이다.25 is a flowchart illustrating a method for providing editorial minutes according to another embodiment of the present invention.
도 25를 참조하면, S2501에서 화상 회의 서비스 제공 장치(100)는 사용자 단말로부터 시간 한정 회의 내용 검색 요청을 수신한다.Referring to FIG. 25 , in S2501, the
S2502에서 화상 회의 서비스 제공 장치(100)는 검색된 회의 시간과 대응하는 문자 정보를 추출한다. In S2502, the video conference
S2503에서 화상 회의 서비스 제공 장치(100)는 화자 별로 문자 정보를 구분한 회의 내용을 생성한다.In S2503, the video conference
S2504에서 화상 회의 서비스 제공 장치(100)는 생성된 회의 내용을 기반으로 편집 회의록을 생성한다.In S2504, the video conference
도 26은 본 발명의 다른 실시예에 따른 화상 회의 서비스 제공 장치가 제공하는 편집 회의록을 설명하는 도면이다. 26 is a diagram illustrating an editing meeting transcript provided by a video conference service providing device according to another embodiment of the present invention.
도 26을 참조하면, 화상 회의 서비스 제공 장치(100)는 회의 정보를 이용하여 회의 참여도 정보를 생성하고, 회의 참여도 정보가 포함된 회의록을 생성할 수 있다. 여기서, 회의 참여도 정보는 화자별 회의 참여도를 나타내는 그래프를 포함하는 정보이다. 화상 회의 서비스 제공 장치(100)는 기설정된 기준에 따라 회의 정보를 이용하여 화자별 회의 참여도 정보를 생성할 수 있다. 화상 회의 서비스 제공 장치(100)는 막대 그래프, 원 그래프 등 다양한 그래프 형식을 통해 화자별 회의 참여도 정보를 제공할 수 있다. Referring to FIG. 26 , the
도 27은 본 발명의 다른 실시예에 따른 편집 회의록 제공 방법을 설명하는 흐름도이다.27 is a flowchart illustrating a method of providing editorial minutes according to another embodiment of the present invention.
도 27을 참조하면, S2701에서 화상 회의 서비스 제공 장치(100)는 사용자 단말로부터 시간 한정 회의 내용 검색 요청을 수신한다.Referring to FIG. 27 , in S2701 , the
S2702에서 화상 회의 서비스 제공 장치(100)는 회의 정보를 이용하여 회의 참여도 정보를 생성한다. In S2702, the video conference
S2703에서 화상 회의 서비스 제공 장치(100)는 생성된 회의 참여도 정보를 기반으로 편집 회의록을 생성한다.In S2703, the video conference
도 28은 본 발명의 다른 실시예에 따른 화상 회의 서비스 제공 장치가 제공하는 편집 회의록을 설명하는 도면이다. 28 is a diagram illustrating an editing meeting record provided by a video conference service providing device according to another embodiment of the present invention.
도 28을 참조하면, 화상 회의 서비스 제공 장치(100)는 통번역부(106)로부터 통번역 정보를 수신할 경우, 번역 텍스트를 이용하여 편집 회의록을 생성한다. Referring to FIG. 28 , when receiving translation information from the translation/
도 29는 본 발명의 다른 실시예에 따른 편집 회의록 제공 방법을 설명하는 흐름도이다.29 is a flowchart illustrating a method for providing editorial minutes according to another embodiment of the present invention.
도 29를 참조하면, S2901에서 화상 회의 서비스 제공 장치(100)는 통번역부(106)로부터 통번역 정보를 수신한다.Referring to FIG. 29 , the video conference
S2902에서 화상 회의 서비스 제공 장치(100)는 번역 텍스트를 이용하여 회의 내용을 생성한다.In S2902, the video conference
S2903에서 화상 회의 서비스 제공 장치(100)는 생성된 회의 내용을 기반으로 편집 회의록을 생성한다. In S2903, the video conference
도 30은 본 발명의 다른 실시예에 따른 화상 회의 서비스 제공 장치가 제공하는 출석부를 설명하는 도면이다.30 is a diagram illustrating an attendance book provided by a video conference service providing apparatus according to another embodiment of the present invention.
도 30을 참조하면, 화상 회의 서비스 제공 장치(100)는 회의 시작 전 및 회의 중 참석 화면을 수신하여 동일 인물 여부 확인 절차를 수행한다. 화상 회의 서비스 제공 장치(100)는 얼굴 인식 결과 동일한 인물로 판단되면, 출석 정보를 생성하고, 얼굴 인식 결과 다른 인물로 판단되거나 수신한 참석 화면이 없을 경우, 결석 정보를 생성한다. 여기서, 결석 정보는 결석 판단 내용을 포함할 수 있다. 예를 들어, 화상 회의 서비스 제공 장치(100)는 얼굴 인식 수행 결과 회의 시작 전 참석 화면과 회의 중 참석 화면에 포함된 인물을 다른 인물로 판단할 경우, 참석부 화면에 얼굴 인식 결과 불일치 텍스트를 포함할 수 있다. Referring to FIG. 30 , the video conferencing
도 31은 본 발명의 다른 실시예에 따른 출석부 제공 방법을 설명하는 흐름도이다. 31 is a flow chart illustrating a method for providing an attendance sheet according to another embodiment of the present invention.
도 31을 참조하면, S3101에서 화상 회의 서비스 제공 장치(100)는 회의 시작 전 회의실에 참가한 사용자의 영상이 포함된 회의 참석 화면을 수신한다. Referring to FIG. 31 , in S3101, the video conference
S3102에서 화상 회의 서비스 제공 장치(100)는 회의 중 회의실에 참가한 사용자의 영상이 포함된 회의 참석 화면을 수신한다. In S3102, the video conference
S3103에서 화상 회의 서비스 제공 장치(100)는 AI를 기반으로 회의 시작 전 및 회의 중 화면에 포함된 사용자의 얼굴을 인식한다. In S3103, the video conference
S3104에서 화상 회의 서비스 제공 장치(100)는 얼굴 인식 결과 동일한 인물로 판단될 경우, S3105로 이동한다. In S3104, the video conference
S3105에서 화상 회의 서비스 제공 장치(100)는 동일한 인물로 판단된 사용자에 대한 출석 정보를 생성한다. In S3105, the video conference
S3106에서 화상 회의 서비스 제공 장치(100)는 동일한 인물로 판단되지 않은 사용자에 대한 결석 정보를 생성한다. In S3106, the video conference
S3107에서 화상 회의 서비스 제공 장치(100)는 생성된 출석 및 결석 정보를 이용하여 출석부를 생성한다. In S3107, the video conference
도 32는 본 발명의 다른 실시예에 따른 오탈자 수정 방법을 설명하는 흐름도이다. 32 is a flowchart illustrating a typo correction method according to another embodiment of the present invention.
도 32를 참조하면, S3201에서 화상 회의 서비스 제공 장치(100)는 화상 회의를 통해 생성된 정보들을 저장한다. 예를 들어, 화상 회의 서비스 제공 장치(100)는 문자 정보, 자막 정보, 통번역 정보 등을 저장한다.Referring to FIG. 32 , in S3201, the video conference
S3202에서 화상 회의 서비스 제공 장치(100)는 저장된 문자 정보, 자막 정보, 통번역 정보 중 변환되지 않은 문장이 존재하는지 판단한다.In S3202, the video conference
S3203에서 화상 회의 서비스 제공 장치(100)는 변환되지 않은 문장에서 오탈자가 존재하는지 판단한다. In S3203, the video conference
S3204에서 화상 회의 서비스 제공 장치(100)는 오탈자가 존재할 경우, 오탈자 문구를 별도 표시하여 저장한다.In S3204, the video conferencing
S3205에서 화상 회의 서비스 제공 장치(100)는 변환되지 않은 문장 전체를 특정 문구로 변환하여 저장한다. 예를 들어, 화상 회의 서비스 제공 장치(100)는 변환되지 않은 문장 전체를 “?” 로 변환하여 저장할 수 있다. In S3205, the video conferencing
도 33은 본 발명의 다른 일 실시예에 따른 화상 회의 서비스 제공 방법을 설명하는 흐름도이다.33 is a flowchart illustrating a video conference service providing method according to another embodiment of the present invention.
도 33을 참조하면, 화상 회의 서비스 제공 장치(100)는 복수의 사용자 단말(200')과 연동되어 회의실을 생성하고, 복수의 사용자를 회의실에 초대한다. Referring to FIG. 33 , the video conference
화상 회의 서비스 제공 장치(100)는 복수의 사용자 단말(200')과 영상 및 음성이 연결된다.The video conference
화상 회의 서비스 제공 장치(100)는 복수의 사용자 단말(200')을 통해 입력된 회의 기본정보를 저장한다. 여기서, 회의 기본정보는 회의 ID, 참석자 리스트, 회의 제목 등을 포함할 수 있다. The video conference
화상 회의 서비스 제공 장치(100)는 사용자의 발언을 녹음하고, 사용자 별 화자 정보 및 녹음 파일을 저장한다. The video conference
화상 회의 서비스 제공 장치(100)는 회의가 종료되면, 회의 종료시간을 저장한다. When the conference ends, the video conference
화상 회의 서비스 제공 장치(100)는 저장된 화자 정보 및 녹음 파일을 통해 회의 시간 순으로 파일을 정리한다. The video conferencing
화상 회의 서비스 제공 장치(100)는 STT(Speech To Text) 기반으로 회의 내용을 정리한다.The video conferencing
화상 회의 서비스 제공 장치(100)는 AI 기반 회의 내용을 요약한다.The video conference
화상 회의 서비스 제공 장치(100)는 회의록을 다양한 파일 형식으로 생성한다. The video conference
화상 회의 서비스 제공 장치(100)는 생성된 회의록을 복수의 사용자 단말(200')로 전송한다.The video conference
이상에서, 본 발명의 실시 예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다.In the above, even though all the components constituting the embodiment of the present invention have been described as being combined or operated as one, the present invention is not necessarily limited to these embodiments. That is, within the scope of the object of the present invention, all of the components may be selectively combined with one or more to operate.
도면에서 동작들이 특정한 순서로 도시되어 있지만, 반드시 동작들이 도시된 특정한 순서로 또는 순차적 순서로 실행되어야만 하거나 또는 모든 도시 된 동작들이 실행되어야만 원하는 결과를 얻을 수 있는 것으로 이해되어서는 안 된다. 특정 상황에서는, 멀티태스킹 및 병렬 처리가 유리할 수도 있다. 더욱이, 위에 설명한 실시 예 들에서 다양한 구성들의 분리는 그러한 분리가 반드시 필요한 것으로 이해되어서는 안 되고, 설명된 프로그램 컴포넌트들 및 시스템들은 일반적으로 단일 소프트웨어 제품으로 함께 통합되거나 다수의 소프트웨어 제품으로 패키지 될 수 있음을 이해하여야 한다.Although actions are shown in a particular order in the drawings, it should not be understood that the actions must be performed in the specific order shown or in a sequential order, or that all shown actions must be performed to obtain a desired result. In certain circumstances, multitasking and parallel processing may be advantageous. Moreover, the separation of the various components in the embodiments described above should not be understood as requiring such separation, and the described program components and systems may generally be integrated together into a single software product or packaged into multiple software products. It should be understood that there is
이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.So far, the present invention has been looked at mainly by its embodiments. Those of ordinary skill in the art to which the present invention pertains will understand that the present invention can be implemented in a modified form without departing from the essential characteristics of the present invention. Therefore, the disclosed embodiments should be considered from a descriptive point of view rather than a limiting point of view. The scope of the present invention is shown in the claims rather than the foregoing description, and all differences within the equivalent scope will be construed as being included in the present invention.
100: 화상 회의 서비스 제공 장치100: video conference service providing device
Claims (10)
사용자 단말과 통신을 수행하고
사용자 영상, 사용자 음성, 이름, 캐릭터, 생년월일 및 ip 주소 중 적어도 하나를 포함하는 식별 정보인 화상 회의 데이터를 수신하는 통신부;
상기 사용자 단말로부터 화상 회의 데이터를 수신하여 화상 회의 컨텐츠를 생성하고
상기 생성된 화상 회의 컨텐츠에 참여 가능 여부를 판단하는 초대 확인 절차를 수행하는 회의컨텐츠부;
상기 화상 회의 데이터에 포함된 사용자의 음성 세기 및 음성 지속시간을 기반으로 화자를 판단하되,
상기 음성 세기는 기설정된 수치를 초과하고, 사용자 음성의 지속시간이 기설정된 시간 이상인 경우 사용자의 음성을 화자로 판단하는 화자감지부;
상기 화자감지부로부터 화자 정보를 수신할 경우, 상기 화자 정보를 이용하여 화상 회의 컨텐츠를 제어하되,
상기 화자 정보를 수신하지 않을 경우, 상기 사용자 단말의 화자 수동 표시 요청을 기반으로 화상 회의 컨텐츠를 제어하는 출력제어부;
수신한 사용자 음성을 기반으로 통번역 요청 언어에 대응하여 번역 텍스트를 생성하는 통번역부;
회의를 진행하며 생성된 회의 정보를 이용하여 회의록을 생성하고 사용자의 요청에 따라 편집 회의록을 생성하되,
상기 사용자 단말로부터 회의 내용 검색 요청을 수신할 경우, 검색된 회의 내용과 대응하는 회의 정보를 추출하여 편집 회의록을 생성하고
상기 사용자 단말로부터 화자 한정 회의 내용 검색 요청을 수신할 경우, 선택된 화자와 대응하는 회의 정보를 추출하여 편집 회의록을 생성하고
상기 사용자 단말로부터 시간 한정 회의 내용 검색 요청을 수신할 경우, 검색된 시간과 대응하는 회의 정보를 추출하여 편집 회의록을 생성하고
상기 사용자 단말로부터 회의 내용 통계 요청을 수신할 경우, 회의 정보를 이용하여 회의 참여도 정보를 생성하고 편집 회의록을 생성하고
상기 통번역부로부터 통번역 정보를 수신할 경우, 번역 텍스트를 이용하여 편집 회의록을 생성하는 회의록 생성부;
회의 시작 전 및 회의 중 참석 화면을 수신하여 동일 인물 인식 여부를 확인하고 상기 인식 여부에 기초하여 출석 및 결석 정보를 생성하여 출석부를 제공하는 회의참석판단부; 및
상기 회의의 진행하며 생성된 문자 정보, 자막 정보 및 통번역 정보를 저장하고 맞춤법 및 변환되지 않은 문장을 수정하고 저장하는 저장부
를 포함하는 화상 회의 서비스 제공 장치.
In the video conference service providing device,
Communicate with the user terminal
A communication unit for receiving video conference data, which is identification information including at least one of a user image, user voice, name, character, date of birth, and IP address;
Receiving video conference data from the user terminal to generate video conference content;
a conference content unit performing an invitation confirmation procedure for determining whether participation in the created video conference content is possible;
Determine a speaker based on the user's voice strength and voice duration included in the video conference data,
a speaker detection unit for determining the user's voice as a speaker when the voice intensity exceeds a preset value and the duration of the user's voice is longer than a preset time;
When speaker information is received from the speaker detection unit, video conference content is controlled using the speaker information;
When the speaker information is not received, an output control unit for controlling video conference content based on a manual speaker display request from the user terminal;
an interpreting/translating unit generating translated text corresponding to a language requested for interpretation/translation based on the received user voice;
Create meeting minutes using the meeting information generated during the meeting, and create edited meeting minutes according to the user's request,
When receiving a search request for conference content from the user terminal, conference information corresponding to the searched conference content is extracted to generate edited meeting minutes;
When a speaker-limited conference content search request is received from the user terminal, conference information corresponding to the selected speaker is extracted and edited meeting minutes are generated.
When receiving a search request for time-limited meeting content from the user terminal, meeting information corresponding to the searched time is extracted to generate edited meeting minutes;
When receiving a request for statistics on conference content from the user terminal, using the conference information, conference participation information is generated and editing minutes are generated.
a meeting minutes generating unit for generating editing meeting minutes using the translated text when the interpretation and translation information is received from the interpretation and translation unit;
a meeting attendance determining unit for receiving a screen of participation before and during a meeting, determining whether the same person is recognized, generating attendance and absence information based on the recognition, and providing a attendance sheet; and
A storage unit for storing text information, subtitle information, and translation information generated during the meeting, and for correcting and storing spelling and unconverted sentences.
Video conferencing service providing device comprising a.
사용자 단말과 통신을 수행하고
사용자 영상, 사용자 음성, 이름, 캐릭터, 생년월일 및 ip 주소 중 적어도 하나를 포함하는 식별 정보인 화상 회의 데이터를 수신하는 단계;
상기 사용자 단말로부터 화상 회의 데이터를 수신하여 화상 회의 컨텐츠를 생성하고
상기 생성된 화상 회의 컨텐츠에 참여 가능 여부를 판단하는 초대 확인 절차를 수행하는 단계;
상기 화상 회의 데이터에 포함된 사용자의 음성 세기 및 음성 지속시간을 기반으로 화자를 판단하되,
상기 음성 세기는 기설정된 수치를 초과하고, 사용자 음성의 지속시간이 기설정된 시간 이상인 경우 사용자의 음성을 화자로 판단하는 단계;
화자감지부로부터 화자 정보를 수신할 경우, 상기 화자 정보를 이용하여 화상 회의 컨텐츠를 제어하되,
상기 화자 정보를 수신하지 않을 경우, 상기 사용자 단말의 화자 수동 표시 요청을 기반으로 화상 회의 컨텐츠를 제어하는 단계;
수신한 사용자 음성을 기반으로 통번역 요청 언어에 대응하여 번역 텍스트를 생성하는 단계;
회의를 진행하며 생성된 회의 정보를 이용하여 회의록을 생성하고 사용자의 요청에 따라 편집 회의록을 생성하되,
상기 사용자 단말로부터 회의 내용 검색 요청을 수신할 경우, 검색된 회의 내용과 대응하는 회의 정보를 추출하여 편집 회의록을 생성하고
상기 사용자 단말로부터 화자 한정 회의 내용 검색 요청을 수신할 경우, 선택된 화자와 대응하는 회의 정보를 추출하여 편집 회의록을 생성하고
상기 사용자 단말로부터 시간 한정 회의 내용 검색 요청을 수신할 경우, 검색된 시간과 대응하는 회의 정보를 추출하여 편집 회의록을 생성하고
상기 사용자 단말로부터 회의 내용 통계 요청을 수신할 경우, 회의 정보를 이용하여 회의 참여도 정보를 생성하고 편집 회의록을 생성하고
상기 번역 텍스트를 생성하는 단계로부터 사용자가 상기 통번역을 요청한 언어의 번역 텍스트 및 통역 음성을 포함하는 통번역 정보를 수신할 경우, 번역 텍스트를 이용하여 편집 회의록을 생성하는 단계;
회의 시작 전 및 회의 중 참석 화면을 수신하여 동일 인물 인식 여부를 확인하고 상기 인식 여부에 기초하여 출석 및 결석 정보를 생성하여 출석부를 제공하는 단계; 및
상기 회의의 진행하며 생성된 문자 정보, 자막 정보 및 통번역 정보를 저장하고 맞춤법 및 변환되지 않은 문장을 수정하고 저장하는 단계
를 포함하는 화상 회의 서비스 제공 방법.
A method in which a video conference service providing device provides a video conference service,
Communicate with the user terminal
Receiving video conference data that is identification information including at least one of a user image, user voice, name, character, date of birth, and IP address;
Receiving video conference data from the user terminal to generate video conference content;
Performing an invitation confirmation procedure for determining whether participation in the created video conference content is possible;
Determine a speaker based on the user's voice strength and voice duration included in the video conference data,
determining the user's voice as a speaker when the voice intensity exceeds a preset value and the duration of the user's voice is longer than the preset time;
When speaker information is received from the speaker detection unit, video conference content is controlled using the speaker information;
controlling video conference contents based on a request for manual speaker display from the user terminal when the speaker information is not received;
generating translated text corresponding to the language requested for interpretation and translation based on the received user voice;
Create meeting minutes using the meeting information generated during the meeting, and create edited meeting minutes according to the user's request,
When receiving a search request for conference content from the user terminal, conference information corresponding to the searched conference content is extracted to generate edited meeting minutes;
When a speaker-limited conference content search request is received from the user terminal, conference information corresponding to the selected speaker is extracted and edited meeting minutes are generated.
When receiving a search request for time-limited meeting content from the user terminal, meeting information corresponding to the searched time is extracted to generate edited meeting minutes;
When receiving a request for statistics on conference content from the user terminal, using the conference information, conference participation information is generated and editing minutes are generated.
generating an editing meeting record using the translated text when interpretation information including the translated text and interpretation voice of the language requested by the user is received from the generating of the translated text;
Receiving an attendance screen before and during the meeting to check whether the same person is recognized, and generating attendance and absence information based on the recognition to provide a attendance sheet; and
Storing text information, subtitle information, and translation information generated during the meeting, and correcting and storing spelling and unconverted sentences.
Video conferencing service providing method comprising a.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20200087031 | 2020-07-14 | ||
| KR1020200087031 | 2020-07-14 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220009318A KR20220009318A (en) | 2022-01-24 |
| KR102575038B1 true KR102575038B1 (en) | 2023-09-07 |
Family
ID=80050002
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210046723A KR102575038B1 (en) | 2020-07-14 | 2021-04-09 | Apparatus and method for video conferencing service |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102575038B1 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20240014179A (en) * | 2022-07-25 | 2024-02-01 | 삼성전자주식회사 | An electronic device for providing video call service and method for controlling the same |
| KR102620977B1 (en) * | 2023-10-04 | 2024-01-05 | 주식회사 건우씨엔에스 | Apparatus and method for analyzing the effect of introducing a video system |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101970753B1 (en) | 2019-02-19 | 2019-04-22 | 주식회사 소리자바 | Meeting recording system using speech recognition |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102548365B1 (en) * | 2016-05-10 | 2023-06-26 | 삼성에스디에스 주식회사 | Method for generating conference record automatically and apparatus thereof |
| KR102621881B1 (en) * | 2018-09-05 | 2024-01-05 | 주식회사 케이티 | Server and method for authenticating speaker during call to counselor |
-
2021
- 2021-04-09 KR KR1020210046723A patent/KR102575038B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101970753B1 (en) | 2019-02-19 | 2019-04-22 | 주식회사 소리자바 | Meeting recording system using speech recognition |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220009318A (en) | 2022-01-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN207149252U (en) | Speech processing system | |
| KR102575038B1 (en) | Apparatus and method for video conferencing service | |
| JP5564459B2 (en) | Method and system for adding translation to a video conference | |
| CN101529500B (en) | Content summarizing system and method | |
| KR101378811B1 (en) | Apparatus and method for changing lip shape based on word automatic translation | |
| CN101998107B (en) | Information processing apparatus, conference system and information processing method | |
| CN108259801A (en) | Audio, video data display methods, device, equipment and storage medium | |
| JP2005341015A (en) | Video conference system with minute creation support function | |
| US11363078B2 (en) | System and method for augmented reality video conferencing | |
| JPWO2005027092A1 (en) | Document creation and browsing method, document creation and browsing device, document creation and browsing robot, and document creation and browsing program | |
| TWI590240B (en) | Meeting minutes device and method thereof for automatically creating meeting minutes | |
| WO2015030962A1 (en) | Providing an electronic summary of source content | |
| CN104966084A (en) | OCR (Optical Character Recognition) and TTS (Text To Speech) based low-vision reading visual aid system | |
| US20190171760A1 (en) | System, summarization apparatus, summarization system, and method of controlling summarization apparatus, for acquiring summary information | |
| US20180293440A1 (en) | Automatic narrative creation for captured content | |
| CN111627446A (en) | Communication conference system based on intelligent voice recognition technology | |
| JP2004343488A (en) | Method, system, and program for inserting caption | |
| JP2019139572A (en) | Conference system, summarization device, method of controlling conference system, method of controlling summarization device, and program | |
| KR102346668B1 (en) | apparatus for interpreting conference | |
| CN110992958B (en) | Content recording method, content recording apparatus, electronic device, and storage medium | |
| JPH0798734A (en) | Working state controller | |
| KR20220009319A (en) | Apparatus and method for video conferencing service | |
| Campbell | Tools and resources for visualising conversational-speech interaction | |
| JP2019152758A (en) | Conference system, conference system control method, and program | |
| KR102291113B1 (en) | Apparatus and method for producing conference record |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right |