KR101981049B1 - System for generating documents of minutes by using multi-connection and the method thereof - Google Patents

System for generating documents of minutes by using multi-connection and the method thereof Download PDF

Info

Publication number
KR101981049B1
KR101981049B1 KR1020170117168A KR20170117168A KR101981049B1 KR 101981049 B1 KR101981049 B1 KR 101981049B1 KR 1020170117168 A KR1020170117168 A KR 1020170117168A KR 20170117168 A KR20170117168 A KR 20170117168A KR 101981049 B1 KR101981049 B1 KR 101981049B1
Authority
KR
South Korea
Prior art keywords
voice
transmitter
module
file
voice file
Prior art date
Application number
KR1020170117168A
Other languages
Korean (ko)
Other versions
KR20190029999A (en
Inventor
백민호
Original Assignee
(주)에어사운드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)에어사운드 filed Critical (주)에어사운드
Priority to KR1020170117168A priority Critical patent/KR101981049B1/en
Publication of KR20190029999A publication Critical patent/KR20190029999A/en
Application granted granted Critical
Publication of KR101981049B1 publication Critical patent/KR101981049B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/155—Conference systems involving storage of or access to video conference sessions
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G10L15/265—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H04N5/23238—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Abstract

본 발명은 멀티 커넥션을 통한 회의록 생성 시스템 및 그 방법에 관한 것으로, 회의 참석자의 음성을 입력받는 마이크모듈과, 상기 음성을 식별자 신호(ID) 및 동기시간과 함께 수신기로 송신하는 송신기통신모듈을 포함하는 다수개의 송신기와, 상기 음성과 동기화된 영상을 촬영하는 카메라모듈과, 상기 송신기로부터 전송된 음성과 해당 식별자 신호(ID)와 동기시간 및 상기 영상을 저장하는 메모리모듈과, 상기 영상을 분석하여 회의 참석자 수를 파악하고 송신기별로 참석자를 매칭하다 영상분석모듈과, 상기 참석자가 매칭되고 해당 음성과 해당 식별자 신호(ID)와 동기시간이 포함된 송신기별 음성파일과 상기 송신기별 파일을 모두 합친 통합 음성파일을 생성한 후 계속하여 전송되는 해당 참석자의 음성을 상기 송신기별 음성파일과 통합 음성파일에 추가하는 음성파일 관리모듈 및 상기 메모리모듈의 저장내용을 서버로 전송하는 수신기 통신모듈을 포함하는 수신기 및 상기 수신기에서 전송되는 송신기별 음성파일과 통합 음성파일을 네트워크를 통해 전송받아 식별자 신호(ID)와 동기 시간별로 정렬한 후 음성을 STT(Speech To Text) 기능을 이용하여 문서파일로 변환하여 회의록을 작성하고 저장하는 서버를 포함하는 것을 특징으로 하는 멀티 커넥션을 통한 회의록 생성 시스템을 제공한다. The present invention relates to a system and method for generating meeting minutes through a multi-connection, comprising: a microphone module for receiving a conference participant's voice, and a transmitter communication module for transmitting the voice to a receiver together with an identifier signal (ID) and a synchronization time; A plurality of transmitters, a camera module for capturing an image synchronized with the voice, a memory module for storing the voice transmitted from the transmitter, a corresponding identifier signal (ID), a synchronization time, and the image, and analyzing the image; Determine the number of conference attendees and match attendees by transmitter. Combine the video analysis module, the transmitter-specific voice file including the corresponding voice, the corresponding identifier, the ID signal, and the synchronization time, and the transmitter-specific file. After the voice file is generated, the voice of the participant transmitted continuously is integrated with the voice file for each transmitter. A receiver including a voice file management module and a receiver communication module for transmitting the stored contents of the memory module to a server, and receiving the transmitter-specific voice file and the integrated voice file transmitted from the receiver through a network, and using an identifier signal (ID). And a server for converting the speech into a document file using STT (Speech To Text) function to create a meeting minutes and storing the recorded minutes.

Description

멀티 커넥션을 통한 회의록 생성 시스템 및 그 방법{System for generating documents of minutes by using multi-connection and the method thereof}System for generating documents of minutes by using multi-connection and the method

본 발명은 멀티 커넥션을 통한 회의록 생성 시스템 및 그 방법에 관한 것으로, 더욱 상세하게는 다수의 참석자가 참여하는 회의에서 다수개의 송신기를 통해 회의 착석자의 음성을 입력 받아 수신기로 전송하면 수신기는 카메라 촬영 영상을 분석하여 참석자와 송신기를 매칭한 후에 송신기별로 전송된 음성을 개별적인 송신기별 음성파일과 통합 음성파일로 만들어 서버로 전송하고 서버는 상기 음성파일을 송신기 식별자, 동기 시간별로 정렬하고 문서화하는 멀티 커넥션을 통한 회의록 생성 시스템 및 그 방법에 관한 것이다.The present invention relates to a system for generating meeting minutes through a multi-connection, and a method thereof. More particularly, when a meeting attendee's voice is input through a plurality of transmitters and transmitted to a receiver, the receiver receives a camera photographed image. After matching the participant with the transmitter, the transmitter transmits the voice transmitted by transmitter into a separate transmitter-specific voice file and an integrated voice file and transmits the voice file to the server, and the server sorts and documents the voice file by transmitter identifier and synchronization time. The present invention relates to a system for generating meeting minutes and a method thereof.

일반적으로 각종 의회, 법원, 기업체 등의 각종 회의에서 발언되는 내용들은 정해진 형식에 따라 수기 또는 워드 프로세서에 의해 작성되어 보관된다. 최근에 들어서는 위와 같이 작성된 회의록들을 전산화하고 데이터베이스로 구축하여 인터넷이나 내부 인트라넷 등을 통해 활용하는 예가 많아지고 있다. 이와 같이 함으로써 회의록이 필요한 사람이 인터넷을 통해 회의록을 쉽게 검색할 수 있고 해당 내용을 쉽게 검색할 수 있게 되었다. In general, contents spoken at various meetings such as various councils, courts, and corporations are prepared and stored by handwriting or word processor according to a predetermined format. In recent years, the minutes of the above-mentioned meetings have been computerized and built into a database, which is being utilized through the Internet or an internal intranet. In this way, people who need meeting minutes can easily search the meeting minutes and search the contents through the Internet.

하지만, 회의에서 발언되는 음성을 사람이 직접 수기 또는 워드프로세서로 작성하고 이를 바탕으로 텍스트 파일로 회의록을 정리하는 것은 상당한 수고가 필요할 뿐만 아니라 회의 참석자 여러 명이 동시에 발언할 때는 이를 정확하게 받아 적는 것은 매우 어렵다는 문제점이 있다. However, it is not only difficult for a person to write the voice spoken at a meeting by handwriting or word processor, and to organize the meeting minutes into a text file based on this, but it is very difficult to write down exactly when several participants speak at the same time. There is a problem.

더구나, 인터넷 또는 내부 인트라넷 등을 통해 효과적으로 회의록을 검색하거나 공유하기 위해서는 통일성 있는 형식으로 회의록 데이터를 생성하고 데이터베이스를 구축하여야 하는데, 위와 같이 사람이 회의록을 작성하게 되면 작성된 회의록은 사람마다 특색을 가지게 되어 통일성 있는 형식의 회의록 데이터를 생성하기가 힘들다는 문제점이 있다. Moreover, in order to search or share meeting minutes effectively through the Internet or internal intranet, it is necessary to generate meeting minutes data and build a database in a uniform format. There is a problem that it is difficult to generate the meeting minutes data in a uniform format.

따라서 다수의 참석자가 참여하는 회의에서 참석자의 발언을 저장하고 저장된 음성파일을 자동으로 문서화하여 통일성 있고 검색하기 쉬운 형식의 회의록으로 변환할 수 있는 시스템이 필요하게 되었다. Therefore, there is a need for a system that can store a participant's remarks and automatically record stored voice files and convert them into a coherent and easy-to-search format.

관련 선행기술로는 한국공개특허 제10-2006-0061534호(공개일: 2006. 06. 08)가 있다.Related prior art is Korean Patent Publication No. 10-2006-0061534 (published: 2006. 06. 08).

본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 다수의 참석자가 참여하는 회의에서 마이크가 내장된 다수개의 송신기를 구비하여 상기 송신기가 참석자의 음성을 입력 받아 수신기로 송신하고 수신기는 카메라 촬영 영상을 분석하여 송신기별로 참석자를 매칭하고 그에 따른 음성을 개별적인 송신기별 음성파일과 통합음성파일에 추가한 후에 상기 음성파일을 서버로 전송하면 서버는 송신기 식별자, 동기 시간별로 정렬하고 문서화하여 회의록을 작성하는 멀티 커넥션을 통한 회의록 생성 시스템 및 그 방법을 제공한다. The present invention has been made to solve the above-mentioned problem, and in a conference in which a plurality of participants participate, the transmitter includes a plurality of transmitters with a built-in microphone, and the transmitter receives a participant's voice and transmits it to a receiver, and the receiver captures a camera image. After analyzing and matching attendees by transmitter and adding the corresponding voices to individual transmitter-specific voice files and integrated voice files, and transmitting the voice files to the server, the server sorts and documents by transmitter identifier and synchronization time to create meeting minutes. Provided is a system for generating meeting minutes through a multi-connection and a method thereof.

본 발명의 실시예들의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다. The objects of the embodiments of the present invention are not limited to the above-mentioned objects, and other objects, which are not mentioned above, will be clearly understood by those skilled in the art from the following description. .

상기 과제를 달성하기 위한 본 발명의 멀티 커넥션을 통한 회의록 생성 시스템은, 회의 참석자의 음성을 입력받는 마이크모듈과, 상기 음성을 식별자 신호(ID) 및 동기시간과 함께 수신기로 송신하는 송신기통신모듈을 포함하는 다수개의 송신기와, 상기 음성과 동기화된 영상을 촬영하는 카메라모듈과, 상기 송신기로부터 전송된 음성과 해당 식별자 신호(ID)와 동기시간 및 상기 영상을 저장하는 메모리모듈과, 상기 영상을 분석하여 회의 참석자 수를 파악하고 송신기별로 참석자를 매칭 시키는 영상분석모듈과, 상기 참석자가 매칭되고 해당 음성과 해당 식별자 신호(ID)와 동기시간이 포함된 송신기별 음성파일과 상기 송신기별 파일을 모두 합친 통합 음성파일을 생성한 후 계속하여 전송되는 해당 참석자의 음성을 상기 송신기별 음성파일과 통합 음성파일에 추가하는 음성파일 관리모듈 및 상기 메모리모듈의 저장내용을 서버로 전송하는 수신기 통신모듈을 포함하는 수신기 및 상기 수신기에서 전송되는 송신기별 음성파일과 통합 음성파일을 네트워크를 통해 전송받아 식별자 신호(ID)와 동기 시간별로 정렬한 후 음성을 STT(Speech To Text) 기능을 이용하여 문서파일로 변환하여 회의록을 작성하고 저장하는 서버를 포함하는 것을 특징으로 할 수 있다. The meeting minutes generation system through the multi-connection of the present invention for achieving the above object, the microphone module for receiving the meeting participant's voice, and a transmitter communication module for transmitting the voice to the receiver along with the identifier signal (ID) and the synchronization time A plurality of transmitters, a camera module for capturing an image synchronized with the voice, a memory module for storing the voice transmitted from the transmitter, a corresponding identifier signal (ID), a synchronization time, and the image, and analyzing the image; A video analysis module for determining the number of attendees and matching attendees by transmitter, and combining all of the transmitter-specific file and the transmitter-specific file including the corresponding voice, the corresponding identifier signal (ID), and the synchronization time. After creating an integrated voice file, the participant's voice, which is continuously transmitted, is integrated with the voice file for each transmitter. A receiver including a voice file management module for adding to a sex file and a receiver communication module for transmitting the contents of the memory module to a server, and an identifier signal for receiving a transmitter-specific voice file and an integrated voice file transmitted from the receiver through a network. After sorting by ID and synchronization time, the voice may be converted into a document file using a speech to text (STT) function to include a server for creating and storing minutes.

구체적으로, 상기 카메라모듈은 360도 파노라마 영상 촬영을 할 수 있는 것을 특징으로 할 수 있다. In detail, the camera module may be capable of capturing a 360 degree panoramic image.

구체적으로, 상기 영상분석모듈은 상기 카메라모듈이 촬영한 360도 파노라마 영상을 상기 메모리모듈에 저장함과 동시에, 상기 360도 파노라마 영상을 회의 참석자별로 화면을 분할 한 후 상기 메모리모듈에 저장하는 것을 특징으로 할 수 있다. In detail, the image analysis module stores the 360-degree panoramic image captured by the camera module in the memory module, and divides the 360-degree panoramic image for each meeting participant and stores the 360-degree panoramic image in the memory module. can do.

구체적으로, 상기 영상분석모듈은 상기 360도 파노라마 영상과 분할 영상을 이용하여 안면인식을 통해 회의 참석자의 위치정보를 추출하여 상기 송신기별로 참석자를 매칭 시키는 것을 특징으로 할 수 있다. In detail, the image analysis module may extract the location information of the meeting participant through facial recognition using the 360 degree panoramic image and the split image to match the attendee by the transmitter.

구체적으로, 상기 송신기와 수신기는 통합될 수 있도록 하되, 상기 마이크모듈은 개수에 따라서 균등하게 영역을 분할되며 설치되도록 하는 것을 특징으로 할 수 있다. Specifically, the transmitter and the receiver may be integrated, but the microphone module may be installed to be divided evenly according to the number.

구체적으로, 상기 마이크모듈은 지향성마이크이고 상기 음성파일 관리모듈은 마이크모듈별 음성파일을 생성하여 상기 메모리모듈에 저장하고 마이크모듈에서 전송되는 음성이 멈추면 해당 마이크모듈별 음성을 상기 마이크모듈별 음성파일에 저장함과 동시에 상기 마이크모듈별 파일을 모두 합친 통합 음성파일을 생성한 후 상기 메모리모듈에 저장하는 것을 특징으로 할 수 있다. Specifically, the microphone module is a directional microphone, and the voice file management module generates a voice file for each microphone module and stores the voice file in the memory module, and when the voice transmitted from the microphone module stops, the voice for the microphone module voices for the microphone module. Simultaneously storing the file and generating the integrated voice file that combines all of the microphone module files, it may be stored in the memory module.

상기 과제를 달성하기 위한 본 발명의 멀티 커넥션을 통한 회의록 생성 방법은, 송신기가 회의 참석자의 음성을 입력 받아 식별자 신호(ID) 및 동기시간과 함께 수신기로 송신하는 음성입력단계와, 수신기가 송신기로부터 전송된 음성과 해당 식별자 신호(ID)와 동기시간 및 카메라모듈이 촬영한 영상을 메모리모듈에 저장한 후 상기 영상을 이용하여 상기 송신기별로 회의 참석자를 매칭 시킨 후 송신기별 음성파일과 상기 송신기별 파일을 모두 합친 통합 음성파일을 생성하여 서버에 전송하는 음성파일생성단계 및 서버가 상기 수신기에서 전송되는 송신기별 음성파일과 통합 음성파일을 네트워크를 통해 전송받아 식별자 신호(ID)와 동기 시간별로 정렬한 후 음성을 STT(Speech To Text) 기능을 이용하여 문서파일로 변환하여 회의록을 작성하고 저장하는 회의록생성단계를 포함할 수 있다. In order to achieve the above object, a method of generating meeting minutes through a multi-connection of the present invention includes a voice input step of transmitting a voice of a conference participant to a receiver along with an identifier signal (ID) and a synchronization time; After storing the transmitted voice, the corresponding identifier signal (ID), the synchronization time, and the image taken by the camera module in the memory module, matching the meeting participant by the transmitter using the image, and then the voice file for each transmitter and the file for each transmitter The voice file generation step of generating the integrated voice file combining all of them and transmitting the integrated voice file to the server, and the server receives the transmitter-specific voice file and the integrated voice file transmitted from the receiver through the network and arranges them by the identifier signal (ID) and synchronization time. After the voice is converted into a document file using STT (Speech To Text) function, the meeting minutes are created and saved. It may include a recording step.

구체적으로, 상기 음성파일생성단계는, 카메라모듈이 상기 음성과 동기화된 영상을 촬영하고 영상분석모듈이 상기 영상을 분석하여 회의 참석자 수를 파악하고 송신기별로 참석자를 매칭 시키는 제1 단계와, 송신기로부터 전송된 음성과 해당 식별자 신호(ID)와 동기시간을 메모리모듈에 저장하는 제2 단계와, 송신기별로 전송되는 음성을 체크하여 음성이 계속되면 다음 단계로 진행하고 그렇지 않으면 종료하는 제3 단계와, 송신기별로 전송되는 음성을 참석자가 매칭되고 해당 음성과 해당 식별자 신호(ID)와 동기시간이 포함된 송신기별 음성파일에 추가하는 제4 단계와, 상기 추가된 송신기별 음성파일을 상기 송신기별 파일을 모두 합친 통합 음성파일에 추가하는 제5 단계 및 상기 송신기별 음성파일과 통합 음성파일을 서버로 전송하고 제2 단계로 되돌아가 다음 단계를 반복하는 제6 단계를 포함할 수 있다. In detail, the voice file generating step may include: a first step of capturing an image synchronized with the voice by the camera module, and analyzing the image by the camera module to determine the number of conference attendees and matching attendees by transmitters; A second step of storing the transmitted voice, the corresponding identifier signal (ID), and the synchronization time in the memory module; a third step of checking the voice transmitted for each transmitter and continuing to the next step if the voice continues; A fourth step of adding a voice transmitted by each transmitter to a transmitter-specific voice file including a matching participant, a corresponding voice, a corresponding identifier signal (ID), and a synchronization time; and adding the added transmitter-specific voice file to the transmitter-specific file. A fifth step of adding all the combined voice files together and transmitting the transmitter-specific voice files and the integrated voice files to the server and to the second step; The method may include a sixth step of returning and repeating the next step.

구체적으로, 상기 제1 단계는, 영상분석모듈이 360도 파노라마 영상을 회의 참석자별로 화면을 분할 한 후 화면인식을 통해 회의 참석자의 위치정보를 추출하여 송신기별로 참석자를 매칭 시키는 것을 특징으로 할 수 있다. Specifically, the first step may be characterized in that the video analysis module splits the 360-degree panoramic image by the meeting attendees, and extracts the location information of the meeting attendees through screen recognition to match the attendees by transmitter. .

이상에서 설명한 바와 같이 본 발명은 다수의 참석자가 참여하는 회의에서 송신기를 통해 음성을 입력 받은 후 수신기로 전송하면 수신기는 카메라를 통해 회의 참석자를 촬영하고 이를 분석하여 송신기별로 참석자와 매칭 시킨 후 해당 음성파일을 추가하여 회의가 끝나면 서버로 전송하여 자동으로 문서화된 회의록을 작성하는 것과 같이 다수개의 송신기와 수신기의 멀티 커넥션을 통한 회의록을 생성하고 있기 때문에, 회의 참석자가 다수가 될 때 사람이 작성하기 힘든 회의록을 자동으로 쉽게 작성할 수 있는 효과가 있다. As described above, when the present invention receives a voice through a transmitter and transmits it to a receiver in a conference in which a plurality of participants participate, the receiver captures the meeting participant through a camera, analyzes it, matches the participant for each transmitter, and then the corresponding voice. It adds files and creates meeting minutes through multiple connections of multiple transmitters and receivers, such as sending documents to the server and automatically creating documented minutes when meetings are completed. The minutes can be easily created automatically.

또한, 회의 참석자의 음성을 수신기가 파일로 생성하고 서버에 전송하면 상기 서버는 미리 정해진 형식에 따라 자동으로 문서화된 회의록을 작성하기 때문에, 이후 회의록을 데이터베이스로 구축할 때 데이터를 쉽게 분류할 수 있도록 하거나 또는 인터넷 등으로 공유할 때 쉽게 검색이 가능하도록 통일성 있는 회의록을 작성할 수 있는 효과가 있다. In addition, when a receiver generates a file of a conference attendant's voice and transmits it to a server, the server automatically creates a documented meeting minutes according to a predetermined format, so that the data can be easily classified when the meeting minutes are built into a database. Or when sharing on the Internet, etc., it is possible to create a uniform meeting minutes so that you can easily search.

도 1은 본 발명의 실시예에 따른 멀티 커넥션을 통한 회의록 생성 시스템의 블록도이다.
도 2는 본 발명의 실시예에 따른 멀티 커넥션을 통한 회의록 생성 방법을 나타낸 순서도이다.
도 3은 도 2에 도시된 음성 입력단게, 음성파일 생성단계, 회의록 생성단계를 상세히 나타낸 순서도이다. 1 is a block diagram of a system for generating minutes using multi-connection according to an embodiment of the present invention.
2 is a flowchart illustrating a method for generating minutes using multi-connection according to an embodiment of the present invention.
FIG. 3 is a flowchart illustrating in detail a voice input step, a voice file generating step, and a meeting minutes generating step shown in FIG. 2.

본 발명의 실시예들에 대한 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.Advantages and features of the embodiments of the present invention, and methods of achieving them will be apparent with reference to the embodiments described below in detail with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but can be implemented in various different forms, and only the embodiments make the disclosure of the present invention complete, and the general knowledge in the art to which the present invention belongs. It is provided to fully inform the person having the scope of the invention, which is defined only by the scope of the claims. Like reference numerals refer to like elements throughout.

본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. In describing the embodiments of the present invention, if it is determined that a detailed description of a known function or configuration may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. In addition, terms to be described below are terms defined in consideration of functions in the embodiments of the present invention, which may vary according to intentions or customs of users and operators. Therefore, the definition should be made based on the contents throughout the specification.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 실시예에 따른 멀티 커넥션을 통한 회의록 생성 시스템의 블록도로서, 본 발명의 멀티 커넥션을 통한 회의록 생성 시스템은 송신기(100), 수신기(200), 서버(300) 및 네트워크(400)를 포함할 수 있다. 1 is a block diagram of a system for generating meeting minutes through a multi-connection according to an embodiment of the present invention. The system for generating meeting minutes through a multi-connection according to the present invention includes a transmitter 100, a receiver 200, a server 300, and a network ( 400).

송신기(100)는 다수의 회의 참석자를 모두 포함할 수 있도록 다수개가 구비되는데, 마이크모듈(110)과 송신기 통신모듈(120)을 포함할 수 있다. A plurality of transmitters 100 are provided to include all of a plurality of conference participants, and may include a microphone module 110 and a transmitter communication module 120.

먼저, 송신기(100)는 회의 참석자의 몸에 부착될 수 있는 형태를 하거나, 회의 참석자 앞에 설치될 수 있는 형태를 하거나, 수신기와 일체화된 형태를 할 수 있다. 따라서 본 발명의 일실시예에서 송신기(100)의 형태는 위에 기술된 것에 구애되지 않고 다양한 형태를 가진다 할 것이다. First, the transmitter 100 may have a form that can be attached to the body of the meeting participant, may be installed in front of the meeting participant, or may be integrated with the receiver. Therefore, the shape of the transmitter 100 in one embodiment of the present invention will have a variety of forms, regardless of what is described above.

마이크모듈(110)은 송신기(100) 내부에 구비되어서 회의 참석자의 음성을 입력받는 전기적 신호로 변환하여 송신기통신모듈(120)로 전송하는 기능을 수행하게 된다. The microphone module 110 is provided inside the transmitter 100 to convert the voice of the meeting participant into an electrical signal received and transmit the transmitted signal to the transmitter communication module 120.

송신기통신모듈(120)은 상기 마이크모듈(110)을 통해 전송되는 회의 참석자의 음성을 전송 받아서 내부적으로 해당 송신기(100)의 식별자 신호(ID) 및 해당 음성에 따른 동기시간과 함께 수신기(200)로 송신하게 된다. The transmitter communication module 120 receives a voice of a conference participant transmitted through the microphone module 110 and internally receives an identifier signal ID of the corresponding transmitter 100 and a synchronization time according to the corresponding voice. Will be sent to.

따라서 송신기통신모듈(120)은 자체적으로 음성과 함께 동기 시간을 카운트할 수 있는 시계 모듈을 더 포함할 수 있고 식별자 신호(ID)를 저장 및 생성할 수 있는 관련 메모리를 더 포함할 수 있다. Therefore, the transmitter communication module 120 may further include a clock module capable of counting the synchronizing time together with its own voice, and may further include an associated memory capable of storing and generating an identifier signal ID.

다수개의 송신기(100)와 수신기(200)와의 멀티 커넥션을 위해서 송신기(100)와 수신기(200)의 통신 연결 방법은 유무선이 모두 사용될 수 있다. 특히 무선 통신 방법으로는 RF(Radio Frequency), 블루투스(Bluetooth) 및 지그비(ZigBee) 중에 선택된 어느 하나일 수 있고, 송신기통신모듈(120)은 내부에 해당 모듈에 해당되는 칩이 구비되도록 한다. In order to connect a plurality of transmitters 100 and receivers 200 to a multi-connection communication method of the transmitter 100 and the receiver 200, both wired and wireless may be used. In particular, the wireless communication method may be any one selected from RF (Radio Frequency), Bluetooth, and ZigBee, and the transmitter communication module 120 is provided with a chip corresponding to the module therein.

이때, 다수개의 송신기(100)에서 전송되는 음성을 수신기(200)가 구분하여 회의 참석자별로 해당 송신기(100)와 매칭 시켜야 하는데 이 매칭 방법에 대한 구체적인 방법은 후술하기로 한다. At this time, the receiver 200 separates the voices transmitted from the plurality of transmitters 100 and matches them with the corresponding transmitters 100 for each conference attendee. A detailed method of the matching method will be described later.

수신기(200)는 다수개의 송신기(100)에서 전송되는 음성을 전송 받아서 이를 회의 참석자와 매칭 시키고 음성파일을 생성하여 서버(300)로 전송하는 기능을 수행하는 장치로서, 카메라모듈(210), 메모리모듈(220), 명상분석모듈(230), 음성파일관리모듈(240) 및 수신기통신모듈(250)을 포함할 수 있다. The receiver 200 receives the voices transmitted from the plurality of transmitters 100, matches them with the conference participants, generates a voice file, and transmits the generated voice files to the server 300. The module 220 may include a meditation analysis module 230, a voice file management module 240, and a receiver communication module 250.

수신기(200)는 회의가 열리는 책상 또는 회의실 일정 장소에 설치되어서 송신기(100)를 통해 회의 참석자들의 음성을 수신 받아 서버(300)로 전송하는 역할을 수행한다. The receiver 200 is installed at a desk or a conference room where a meeting is held, and receives a meeting participant's voice through the transmitter 100 and transmits the received voices to the server 300.

카메라모듈(210)은 수신기(200) 내부에 구비되거나 수신기(200)와 유무선으로 연결되어 수신기(200) 외부에 설치되어 회의 참석자들의 모습을 촬영하여 해당 영상이 메모리모듈(220)에 저장되고 영상분석모듈(230)에 전송되도록 한다.The camera module 210 is provided inside the receiver 200 or connected to the receiver 200 in a wired or wireless manner, and is installed outside the receiver 200 to take a picture of meeting attendees so that the corresponding image is stored in the memory module 220 and the image. To be transmitted to the analysis module 230.

이때, 카메라모듈(210)이 촬영하는 영상은 회의 참석자마다 배정된 다수개의 송신기(100)에서 전송되는 참석자의 음성과 동기화된 영상을 촬영하게 된다. In this case, the image captured by the camera module 210 captures an image synchronized with the voice of the participant transmitted from the plurality of transmitters 100 assigned to each participant.

또한, 카메라모듈(210)은 회의실 일정 장소 어느 한 곳에 설치되더라도 회의 참석자 모두를 영상에 담을 수 있도록 360도 파노라마 영상 촬영을 할 수 있도록 하는 것이 바람직하다. In addition, even if the camera module 210 is installed in any one of the conference room schedule place, it is desirable to be able to take a 360-degree panoramic image so that all the meeting attendees in the video.

메모리모듈(220)은 수신기(200) 내부에 설치되어서 회의 참석자마다 배정된 다수개의 송신기(100)로부터 전송된 참석자의 음성과 해당 송신기(100)의 해당 식별자 신호(ID)와 동기시간 및 상기 영상을 저장하게 된다. 이와 같이 저장된 다수개의 송신기(100)별로 저장되는 상기 데이터들은 후술하게 될 송신기별 음성파일과 통합 음성파일을 생성할 때 활용되며 상기 음성파일들도 저장된다. 이에 대한 자세한 내용은 후술하기로 한다. The memory module 220 is installed in the receiver 200 and the voice of the participant transmitted from the plurality of transmitters 100 assigned to each participant of the conference, the corresponding identifier signal ID of the transmitter 100, the synchronization time, and the image. Will be saved. The data stored for each of the plurality of transmitters 100 stored as described above are used when generating a transmitter-specific voice file and an integrated voice file, which will be described later, and the voice files are also stored. Details thereof will be described later.

명상분석모듈(230)은 수신기(200) 내부에 구비된 마이컴의 일종으로서 그 내부에 일종의 알고리즘 또는 소프트웨어가 탑재되어서 카메라모듈(210)이 촬영한 회의 참석자를 영상을 분석하여 회의 참석자 수를 파악하고 송신기별로 참석자를 매칭 시키는 기능을 수행하게 된다. The meditation analysis module 230 is a kind of microcomputer provided in the receiver 200, and a kind of algorithm or software is mounted therein so as to determine the number of meeting attendees by analyzing the video of the meeting attendees photographed by the camera module 210. The function of matching attendees by transmitters is performed.

구체적으로, 영상분석모듈(230)이 카메라모듈(210)이 회의 참석자를 촬영한 360도 파노라마 영상을 상기 메모리모듈(220)에 저장함과 동시에, 상기 360도 파노라마 영상을 회의 참석자별로 화면을 분할 한 후 메모리모듈(220)에 저장하게 된다. Specifically, the image analysis module 230 stores the 360-degree panoramic image of the camera module 210 photographing the meeting participant in the memory module 220 and at the same time divides the 360-degree panoramic image by the meeting participant Afterwards it is stored in the memory module 220.

이때, 상기 영상을 회의 참석자별로 화면을 분할하기 위해 참석자를 인식할 수 있는 알고리즘이 사용될 수 있는데 그 일례로서 안면인식 알고리즘이 사용될 수 있다. In this case, an algorithm for recognizing an attendee may be used to divide the image into screens for each conference attendee, and as an example, a face recognition algorithm may be used.

영상분석모듈(230)은 카메라모듈(210)이 회의 참석자를 촬영한 360도 파노라마 영상과 회의 참석자별로 분할된 분할 영상을 이용하여 안면인식을 통해 회의 참석자의 위치정보를 추출하여 상기 송신기별로 참석자를 매칭 시킬 수 있다. The video analysis module 230 extracts the location information of the meeting attendees through facial recognition using a 360 degree panoramic image of the camera module 210 photographing the meeting attendees and the divided images divided by the meeting attendees. Can match.

다시 말하면, 다수개의 송신기(100)는 그 위치와 방향이 미리 정해져 설치되어 있기 때문에 회의 참석자가 해당 위치에 착석하게 되면 자연스럽게 송신기(100)와 참석자는 매칭 되게 되는데, 이 때 영상분석모듈(230)이 회의 참석자별로 분할된 분할 영상과 안면인식을 통해 참석자의 위치정보를 추출하게 되면 해당 위치에 설치된 송신기(100)를 참석자와 서로 매칭 시키게 되는 방식이다.In other words, since a plurality of transmitters 100 are installed in a predetermined position and direction, when a meeting participant is seated at the corresponding position, the transmitter 100 and the participant are naturally matched, and at this time, the image analysis module 230 When the participant's location information is extracted through the divided image divided by the participant and the facial recognition, the transmitter 100 installed at the corresponding location is matched with the participant.

따라서 이후에 송신기(100)로부터 전송되는 음성, 해당 송신기의 식별자신호(ID), 동기시간은 매칭된 참석자의 음성으로 분류되어 메모리모듈(220)에 저장된다. Accordingly, the voice transmitted from the transmitter 100, the identifier signal ID of the transmitter, and the synchronization time are classified into matched voices of the participants and stored in the memory module 220.

음성파일관리모듈(240)은 수신기(200) 내부에 구비된 마이컴의 일종으로서 그 내부에 일종의 알고리즘 또는 소프트웨어가 탑재되어서 송신기(100)로부터 전송되어온 음성파일을 송신기별 음성파일과 통합 음성파일에 추가하는 기능을 수행하게 된다. The voice file management module 240 is a kind of microcomputer provided in the receiver 200, and has a kind of algorithm or software installed therein to add the voice file transmitted from the transmitter 100 to the voice file for each transmitter and the integrated voice file. To perform the function.

다시 말하면, 음성파일관리모듈(240)은 영상분석모듈(230)에 의하여 회의 참석자가 매칭되고 해당 음성과 해당 식별자 신호(ID)와 동기시간이 포함된 송신기별 음성파일을 생성하고 해당 송신기(100)로부터 해당 착석자의 음성이 계속하여 전송될 때 마다 상기 송신기별 음성파일에 추가적으로 기록하게 된다. In other words, the voice file management module 240 generates a voice file for each transmitter including the corresponding voice, the corresponding identifier signal (ID) and the synchronization time by matching the meeting participants by the image analysis module 230, and the corresponding transmitter (100). Whenever the voice of the seated occupant continues to be transmitted, it is additionally recorded in the transmitter-specific voice file.

그리고 음성파일관리모듈(240)은 상술한 다수개의 송신기별 음성파일을 모두 합친 통합 음성파일을 생성한 후 계속하여 전송되는 해당 참석자의 음성을 통합 음성파일에 추가하게 된다. In addition, the voice file management module 240 generates an integrated voice file in which all the voice files for each transmitter are combined and adds the voice of the participant, which is continuously transmitted, to the integrated voice file.

위와 같이 함으로써 다수개의 송신기(100)로부터 음성이 동시다발적으로 수신기(200)에 전송되더라도 참석자별로 매칭된 송신기별 음성파일에 개별적으로 수록되도록 할 수 있다. 이러한 송신기별 음성파일은 이후에 통합 음성파일과 함께 서버에 전송되고 나면 송신기별 음성파일과 통합 음성파일에 함께 저장된 동기시간으로 정렬된 문서로 변환될 수 있도록 한다. 이에 대한 상세한 내용은 후술하기로 한다.By doing the above, even if the voices from the plurality of transmitters 100 are simultaneously transmitted to the receiver 200, the voice files of the transmitters matched for each participant can be separately recorded. The transmitter-specific voice file is later transmitted to the server together with the integrated voice file so that it can be converted into a document arranged in synchronization time stored in the transmitter-specific voice file and the integrated voice file. Details thereof will be described later.

수신기통신모듈(250)은 다수개의 송신기(100)로부터 전송되는 음성, 식별자신호(ID) 및 동기시간 등의 신호를 수신함과 동시에 메모리모듈(220)의 저장내용, 즉, 송신기별 음성, 식별자신호(ID) 및 동기시간에 대한 데이터와 송신기별 음성파일의 데이터와 통합 음성파일에 저장된 데이터를 서버(300)로 유무선 네트워크(400)를 통해 전송하는 기능을 수행한다. The receiver communication module 250 receives signals such as voice, identifier signals (ID), and synchronization time transmitted from the plurality of transmitters 100, and simultaneously stores the contents of the memory module 220, that is, voices of transmitters and identifier signals. It transmits the data of the ID and the synchronization time, the data of the voice file for each transmitter and the data stored in the integrated voice file to the server 300 through the wired / wireless network 400.

이때 송신기(100)와 수신기(200)의 통신 방법은 상술한 바와 마찬가지로 RF(Radio Frequency), 블루투스(Bluetooth) 및 지그비(ZigBee) 중에 선택된 어느 하나일 수 있고, 수신기(200)와 서버(300)와의 통신 방법은 유무선, 또는 유무선 네트워크일 수 있다. In this case, as described above, the communication method between the transmitter 100 and the receiver 200 may be any one selected from Radio Frequency (RF), Bluetooth, and ZigBee, and the receiver 200 and the server 300. The communication method may be a wired or wireless network or a wired or wireless network.

이상과 같이 설명한 송신기(100)와 수신기(200)는 본 발명의 일실시예에서 서로 분리된 장치인 것을 가정하였지만 본 발명이 이에 한정되는 것이 아니고 송신기(100)와 수신기(200)가 통합된 하나의 장치가 될 수도 있다. Although the transmitter 100 and the receiver 200 described above are assumed to be separate devices from each other in one embodiment of the present invention, the present invention is not limited thereto, and the transmitter 100 and the receiver 200 are integrated. It may be a device of.

다시 말하면, 송신기(100)와 수신기(200)는 통합될 수 있도록 하되, 송신기(100)에 구비된 마이크모듈(110)이 개수에 따라서 균등하게 영역이 분할되며 통합된 장치에 설치되도록 할 수 있다. In other words, the transmitter 100 and the receiver 200 may be integrated, but the microphone modules 110 included in the transmitter 100 may be equally divided according to the number and installed in the integrated device. .

위와 같이 송신기(100)와 수신기(200)가 하나의 장치에 통합되게 되면, 상기 마이크모듈(110)은 어느 한 방향의 음성만을 입력 받을 수 있는 지향성마이크가 사용되도록 하는 것이 바람직하다. As described above, when the transmitter 100 and the receiver 200 are integrated into one device, the microphone module 110 may use a directional microphone capable of receiving only one direction of voice.

이후에, 송신기(100)와 수신기(200)가 통합된 장치에는 원래의 수신기(200)와 마찬가지로 음성파일관리모듈(240)이 구비되어서 마이크모듈별 음성파일을 생성하여 메모리모듈(210)에 저장하고 마이크모듈(110)에서 전송되는 음성이 멈추면 해당 마이크모듈별 음성을 상기 마이크모듈별 음성파일에 저장함과 동시에 상기 마이크모듈별 음성파일을 모두 합친 통합 음성파일을 생성한 후 상기 메모리모듈(210)에 저장할 수 있다. Subsequently, the device in which the transmitter 100 and the receiver 200 are integrated is provided with a voice file management module 240 similarly to the original receiver 200 to generate a voice file for each microphone module and store it in the memory module 210. When the voice transmitted from the microphone module 110 is stopped, the voice for each microphone module is stored in the voice file for each microphone module, and at the same time, the integrated voice file is generated by combining the voice files for each microphone module. ) Can be stored.

여기서 송신기(100)와 수신기(200)가 통합된 장치는 영상분석모듈(230)과 수신기통신모듈(250) 또한 구비되어서 원래의 수신기(200)와 마찬가지로 해당 기능을 수행하게 된다. Here, the device in which the transmitter 100 and the receiver 200 are integrated is also provided with an image analysis module 230 and a receiver communication module 250 to perform a corresponding function as the original receiver 200.

서버(300)는 수신기(100) 및 수신기(200)에서 전송되는 송신기별 음성파일과 통합 음성파일을 유무선 네트워크(400)를 통해 전송받아 데이터로 저장하고 해당 음성파일에 같이 수록된 식별자 신호(ID)와 동기 시간별로 정렬한 후 데이터베이스를 구축할 수 있다. The server 300 receives the transmitter-specific voice file and the integrated voice file transmitted from the receiver 100 and the receiver 200 through the wired / wireless network 400, stores the data, and stores the data as an identifier signal (ID). After sorting by synchronization time, you can build the database.

이후, 위와 같이 정렬된 음성파일들의 음성을 STT(Speech To Text) 기능을 이용하여 문서파일로 변환하여 회의록을 작성하고 저장하게 된다. 물론 이 또한 데이터베이스로 구축될 수 있음은 물론이다.Thereafter, the voices of the sorted voice files are converted into document files using STT (Speech To Text) function to create and save the minutes. Of course, this can also be built as a database.

위와 같이 다수개의 송신기(100)와 수신기(200)가 멀티 커넥션된 시스템을 통하여 다수의 참석자가 참석한 회의의 내용이 서버에 음성파일로 저장됨과 동시에 참석자별 및 동기시간별로 정렬되어서 문서화되게 되므로 통일된 형식의 회의록을 자동으로 생성할 수 있게 된다. As described above, the contents of a meeting attended by a plurality of attendees through a system in which multiple transmitters 100 and receivers 200 are multi-connected are stored in the server as a voice file and are sorted by attendees and by synchronization time and documented. Generated minutes can be automatically generated.

이하에서는 위와 같이 구성된 본 발명의 일실시예인 멀티 커넥션을 통한 회의록 생성 방법에 대하여 상세히 설명하기로 한다. Hereinafter, a method for generating meeting minutes through a multi-connection, which is an embodiment of the present invention configured as described above, will be described in detail.

도 2는 도 2는 본 발명의 실시예에 따른 멀티 커넥션을 통한 회의록 생성 방법을 나타낸 순서도이고, 도 3은 도 2에 도시된 음성 입력단게, 음성파일 생성단계, 회의록 생성단계를 상세히 나타낸 순서도로서, 본 발명의 멀티 커넥션을 통한 회의록 생성 방법은 음성입력단계(S510), 음성파일 생성단계(S520) 및 회의록 생성단계(S530)를 포함할 수 있다. FIG. 2 is a flowchart illustrating a method of generating meeting minutes through a multi-connection according to an embodiment of the present invention, and FIG. 3 is a flowchart illustrating a voice input step, a voice file generating step, and a meeting minutes generating step shown in FIG. 2 in detail. The meeting minutes generating method through the multi-connection of the present invention may include a voice input step (S510), a voice file generating step (S520), and a meeting minutes generating step (S530).

음성입력단계(S510)는 회의실 일정한 장소에 위치하고 회의 참석자마다 배정된 다수개의 송신기(100)가 내부의 마이크모듈(110)을 통해 회의 참석자의 음성을 입력 받아 송신기통신모듈(120)로 전송하면 송신기통신모듈(120)이 해당 음성을 송신기(100)의 식별자 신호(ID) 및 동기시간과 함께 수신기로 송신하는 단계이다. The voice input step (S510) is located in a certain place of the meeting room and a plurality of transmitters assigned to each meeting attendant receives a voice of the meeting attendees through the internal microphone module 110 and transmits to the transmitter communication module 120 transmitter The communication module 120 transmits the corresponding voice to the receiver along with the identifier signal ID and the synchronization time of the transmitter 100.

음성파일 생성단계(S520)는 수신기(200)가 송신기(200)로부터 전송된 음성과 해당 식별자 신호(ID)와 동기시간 및 카메라모듈(210)이 촬영한 영상을 메모리모듈(220)에 저장한 후 상기 영상을 이용하여 상기 송신기별로 회의 참석자를 매칭시킨 후 송신기별 음성파일과 상기 송신기별 파일을 모두 합친 통합 음성파일을 생성하여 서버에 전송하는 단계로서, 세부적으로 제1 내지 6단계를 포함할 수 있다. In the voice file generation step (S520), the receiver 200 stores the voice transmitted from the transmitter 200, the corresponding identifier signal ID, the synchronization time, and the image captured by the camera module 210 in the memory module 220. Thereafter, matching meeting attendees by the transmitter by using the video, and generating an integrated voice file in which all of the transmitter-specific voice files and the transmitter-specific files are combined and transmitting the same to the server, including steps 1 to 6 in detail. Can be.

음성파일 생성단계(S520)의 제1 단계는, 수신기(200)에 구비된 카메라모듈(210)이 음성과 동기화된 영상을 촬영하고 영상분석모듈(230)이 상기 영상을 분석하여 회의 참석자 수를 파악하고 송신기별로 참석자를 매칭시키는 단계이다. In the first step of the voice file generation step (S520), the camera module 210 of the receiver 200 captures an image synchronized with the voice, and the image analysis module 230 analyzes the image to determine the number of attendees. Identify and match attendees by transmitter.

제1 단계에서 송신기별로 참석자를 매칭하다 방법은 상술한 바와 같이, 영상분석모듈(230)이 360도 파노라마 영상을 회의 참석자별로 화면을 분할 한 후 화면인식을 통해 회의 참석자의 위치정보를 추출하여 송신기별로 참석자를 매칭하다 방법을 사용하게 된다. 이에 대한 내용은 상술하였으므로 자세한 내용은 생략하기로 한다. As described above, in the first step, the method of matching attendees by transmitters is performed by the video analysis module 230 dividing a 360-degree panoramic image for each meeting participant and extracting location information of the meeting attendees through screen recognition. A different method of matching attendees is used. Since the details have been described above, detailed descriptions will be omitted.

음성파일 생성단계(S520)의 제2 단계는, 송신기(100)로부터 전송된 음성과 해당 식별자 신호(ID)와 동기시간을 메모리모듈에 저장하는 단계이다. The second step of the voice file generation step S520 is to store the voice transmitted from the transmitter 100, the corresponding identifier signal ID, and the synchronization time in the memory module.

다시 말하면, 다수개의 송신기(100)로부터 전송되는 신호들은 제1 단계를 통해 참석자별, 즉 송신기별로 구별되고 제2 단계에서 수신기(200)의 메모리모듈(220)에 구별된 상태로 저장될 수 있도록 한다. 이와 같이 저장된 송신기별 데이터들은 후술할 송신기별 음성파일과 통합 음성파일을 생성하는 데 소스 데이터로서 작용한다. In other words, the signals transmitted from the plurality of transmitters 100 may be stored in the memory module 220 of the receiver 200 in the first stage, that is, the transmitter, the transmitter, and the second stage. do. The transmitter-specific data stored as described above serves as source data for generating a transmitter-specific voice file and an integrated voice file which will be described later.

음성파일 생성단계(S520)의 제3 단계는, 송신기별로 전송되는 음성을 계속하여 체크하여 음성이 계속되면 다음 단계로 진행하고 그렇지 않으면 종료하는 단계로서, 회의가 지속될 때 까지 음성파일의 추가 여부를 결정하는 단계이다. The third step of the voice file generation step (S520) is to continuously check the voice transmitted for each transmitter and proceed to the next step if the voice continues, and if not, to terminate the voice file. It is a decision step.

음성파일 생성단계(S520)의 제4 단계는, 제3 단계에서 회의가 진행 중이어서 다수개의 송신기(100)로부터 음성이 계속하여 전송될 때 송신기별로 전송되는 음성을 참석자가 매칭되고 해당 음성과 해당 식별자 신호(ID)와 동기시간이 포함된 송신기별 음성파일에 추가하는 단계이다. The fourth step of the voice file generation step (S520), when the conference is in progress in the third step, when the voice is continuously transmitted from the plurality of transmitters 100, the participants are matched with the voice transmitted by the transmitter and the corresponding voice and the corresponding voice The step of adding to the transmitter-specific voice file including the identifier signal (ID) and the synchronization time.

음성파일 생성단계(S520)의 제5 단계는 제4 단계에서 추가된 송신기별 음성파일을 상기 송신기별 파일을 모두 합친 통합 음성파일을 생성하고 이에 추가하는 단계이다. The fifth step of the voice file generation step (S520) is a step of generating and adding the integrated voice file in which all of the transmitter-specific voice files added in the fourth step are added together.

이로서 송신기별 음성파일과 통합 음성파일을 통해 개별 참석자의 회의 발언 내용과 전체 참석자의 회의 발언 내용이 저장된 파일이 생성되고, 이러한 송신기별 음성파일과 통합 음성파일은 이후 서버(300)에서 회의록으로 작성될 소스 데이터가 된다. As a result, a file is stored in which each participant's remarks and the entire participant's remarks are stored through the transmitter-specific voice file and the integrated voice file, and the transmitter-specific voice file and the integrated voice file are then created as meeting minutes in the server 300. Will be the source data

음성파일 생성단계(S520)의 제5 단계는 수신기통신모듈(250)이 송신기별 음성파일과 통합 음성파일을 유무선 네트워크(400)를 통해 서버(300)로 전송하고 제2 단계로 되돌아가 계속하여 다음 단계를 반복함으로써 회의가 종료될 때까지 송신기별 음성파일과 통합 음성파일을 추가적으로 갱신하는 단계이다. 이때, 제3 단계에서 서술한 바와 같이 송신기별로 전송되는 음성이 끊겨서 일정시간 경과하게 되면 수신기(200)가 이를 체크하여 회의가 종료됨을 인지하여 음성파일 생성단계(S520)를 종료하게 되는 것이다. In the fifth step of the voice file generation step (S520), the receiver communication module 250 transmits the transmitter-specific voice file and the integrated voice file to the server 300 through the wired / wireless network 400 and returns to the second step to continue. By repeating the following steps, the transmitter-specific voice file and the integrated voice file are further updated until the conference is completed. At this time, as described in the third step, when the voice transmitted for each transmitter is cut off and the predetermined time has elapsed, the receiver 200 checks this to recognize that the conference is over and ends the voice file generation step (S520).

회의록 생성단계(S530)는, 서버(300)가 수신기(200)에서 전송되는 송신기별 음성파일과 통합 음성파일을 네트워크를 통해 전송받아 식별자 신호(ID)와 동기 시간별로 정렬한 후 음성을 STT(Speech To Text) 기능을 이용하여 문서파일로 변환하여 회의록을 작성하고 저장하는 단계이다. In the meeting minutes generating step S530, the server 300 receives the transmitter-specific voice file and the integrated voice file transmitted from the receiver 200 through the network, sorts the identifier signal ID with the synchronization time, and then synchronizes the voice with the STT ( It is a step to create and save minutes by converting to document file using Speech To Text) function.

회의록 생성단계(S530)는, 상술한 바와 같이 상기 송신기별 음성파일과 통합 음성파일을 서버(300)에 데이터로 저장하고 해당 음성파일에 같이 수록된 식별자 신호(ID)와 동기 시간별로 정렬한 후 데이터베이스를 구축할 수 있다. 또한, 송신기별 음성파일과 통합 음성파일이 문서파일로 변환되고 나면 이를 저장한 후에 일정한 형식의 회의록을 작성하게 되는데, 이를 데이터베이스로 구축할 수 있다. As described above, the meeting minutes generating step (S530) stores the transmitter-specific voice file and the integrated voice file as data in the server 300 and arranges the identifier signal ID recorded in the corresponding voice file by the synchronization time and synchronizes the database. Can be built. In addition, after the transmitter-specific voice file and the integrated voice file are converted into document files, they are stored and then created in a certain form of meeting minutes, which can be constructed as a database.

다시 말하면, 회의록 생성단계(S530)에서 송신기별 음성파일에 의해 생성된 참석자별 발언이 수록된 회의록과, 전체 참석자의 발언이 수록된 회의록이 모두 작성될 수 있으며, 이를 데이터베이스로 구축함으로써 차후에 필용한 사람에 의해 상기 회의록이 용이하게 검색되어 활용될 수 있도록 한다. In other words, in the meeting minutes generation step (S530), all meeting minutes containing the comments of each participant generated by the transmitter-specific voice file and all the minutes of the entire participant's remarks can be created. The minutes can be easily retrieved and utilized.

따라서 이상에서 설명한 바와 같이 다수개의 송신기(100)와 수신기(200)가 멀티 커넥션된 시스템을 이용하면 다수의 참석자가 참석한 회의의 내용이 서버에 음성파일로 저장됨과 동시에 참석자별 및 동기시간별로 정렬되어서 문서화되게 되므로 통일된 형식의 회의록을 자동으로 생성할 수 있게 된다. Therefore, as described above, when a plurality of transmitters 100 and a receiver 200 use a multi-connected system, the contents of conferences attended by multiple attendees are stored in the server as voice files and sorted by attendees and synchronization time. It is then documented so that unified forms of meeting minutes can be automatically generated.

이상에서 설명한 바와 같이 본 발명은 다수의 참석자가 참여하는 회의에서 송신기를 통해 음성을 입력 받은 후 수신기로 전송하면 수신기는 카메라를 통해 회의 참석자를 촬영하고 이를 분석하여 송신기별로 참석자와 매칭시킨 후 해당 음성파일을 추가하여 회의가 끝나면 서버로 전송하여 자동으로 문서화된 회의록을 작성하는 것과 같이 다수개의 송신기와 수신기의 멀티 커넥션을 통한 회의록을 생성하고 있기 때문에, 회의 참석자가 다수가 될 때 사람이 작성하기 힘든 회의록을 자동으로 쉽게 작성할 수 있는 효과가 있다. As described above, in the present invention, when a participant receives a voice through a transmitter and transmits it to a receiver, the receiver captures the conference participant through a camera, analyzes the matching participant, and matches the participant with each transmitter after the corresponding voice. It adds files and creates meeting minutes through multiple connections of multiple transmitters and receivers, such as sending documents to the server and automatically creating documented minutes when meetings are completed. The minutes can be easily created automatically.

또한, 회의 참석자의 음성을 수신기가 파일로 생성하고 서버에 전송하면 상기 서버는 미리 정해진 형식에 따라 자동으로 문서화된 회의록을 작성하기 때문에, 이후 회의록을 데이터베이스로 구축할 때 데이터를 쉽게 분류할 수 있도록 하거나 또는 인터넷 등으로 공유할 때 쉽게 검색이 가능하도록 통일성 있는 회의록을 작성할 수 있는 효과가 있다. In addition, when a receiver generates a file of a conference attendant's voice and transmits it to a server, the server automatically creates a documented meeting minutes according to a predetermined format, so that the data can be easily classified when the meeting minutes are built into a database. Or when sharing on the Internet, etc., it is possible to create a uniform meeting minutes so that you can easily search.

이상의 설명에서는 본 발명의 다양한 실시예들을 제시하여 설명하였으나 본 발명이 반드시 이에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능함을 쉽게 알 수 있을 것이다. In the foregoing description, various embodiments of the present invention have been described and described, but the present invention is not necessarily limited thereto, and a person having ordinary skill in the art to which the present invention pertains may have various modifications without departing from the technical spirit of the present invention. It will be readily appreciated that branch substitutions, modifications and variations are possible.

100: 송신기 110: 마이크모듈
120: 송신기통신모듈 200: 수신기
210: 카메라모듈 220: 메모리모듈
230: 영상분석모듈 240: 음성파일관리모듈
250: 수신기통신모듈 300: 서버
400: 네트워크100: transmitter 110: microphone module
120: transmitter communication module 200: receiver
210: camera module 220: memory module
230: image analysis module 240: voice file management module
250: receiver communication module 300: server
400: network

Claims (9)

회의 참석자의 음성을 입력받는 마이크모듈과, 상기 음성과 함께 해당 음성에 따른 동기시간을 카운트할 수 있는 시계 모듈을 구비하고 상기 음성을 식별자 신호(ID) 및 상기 동기시간과 함께 수신기로 송신하는 송신기통신모듈을 포함하는 다수개의 송신기;
상기 음성과 동기화된 영상을 촬영하는 카메라모듈과, 상기 송신기로부터 전송된 음성과 해당 식별자 신호(ID)와 동기시간 및 상기 영상을 저장하는 메모리모듈과, 상기 영상을 분석하여 회의 참석자 수를 파악하고 송신기별로 참석자를 매칭하는 영상분석모듈과, 상기 참석자가 매칭되고 해당 음성과 해당 식별자 신호(ID)와 동기시간이 포함된 송신기별 음성파일과 상기 송신기별 음성파일을 모두 합친 통합 음성파일을 생성한 후 계속하여 전송되는 해당 참석자의 음성을 상기 송신기별 음성파일과 통합 음성파일에 추가하는 음성파일 관리모듈 및 상기 메모리모듈의 저장내용을 서버로 전송하는 수신기 통신모듈을 포함하는 수신기; 및
상기 수신기에서 전송되는 송신기별 음성파일과 통합 음성파일을 네트워크를 통해 전송받아 식별자 신호(ID)와 동기 시간별로 정렬한 후 음성을 STT(Speech To Text) 기능을 이용하여 문서파일로 변환하여 회의록을 작성하고 저장하는 서버;를 포함하는 것을 특징으로 하는 멀티 커넥션을 통한 회의록 생성 시스템.
A transmitter for receiving a voice of a conference participant and a clock module capable of counting a synchronization time according to the corresponding voice together with the voice, and transmitting the voice to an receiver together with an identifier signal (ID) and the synchronization time A plurality of transmitters including a communication module;
A camera module for capturing an image synchronized with the voice, a memory module for storing the voice transmitted from the transmitter, a corresponding identifier signal (ID), a synchronization time, and the image, and analyzing the image to determine the number of conference attendees; A video analysis module for matching attendees by transmitter and an integrated audio file in which all of the transmitter-matched voice files including the corresponding voice, the identifier signal (ID), and the synchronization time are combined together A receiver including a voice file management module for adding a voice of the participant continuously transmitted to the transmitter-specific voice file and an integrated voice file, and a receiver communication module for transmitting the stored contents of the memory module to a server; And
After receiving the transmitter-specific voice file and the integrated voice file transmitted from the receiver through the network, the voice signal is sorted by the ID signal and the synchronization time, and the voice is converted into a document file using the speech to text (STT) function. Server for creating and storing; Meeting minutes generation system through a multi-connection comprising a.
청구항 1에 있어서,
상기 카메라모듈은 360도 파노라마 영상 촬영을 할 수 있는 것을 특징으로 하는 멀티 커넥션을 통한 회의록 생성 시스템.
The method according to claim 1,
The camera module is a meeting minutes generation system through a multi-connection, characterized in that capable of 360-degree panoramic image shooting.
청구항 2에 있어서,
상기 영상분석모듈은 상기 카메라모듈이 촬영한 360도 파노라마 영상을 상기 메모리모듈에 저장함과 동시에, 상기 360도 파노라마 영상을 회의 참석자별로 화면을 분할 한 후 상기 메모리모듈에 저장하는 것을 특징으로 하는 멀티 커넥션을 통한 회의록 생성 시스템.
The method according to claim 2,
The image analysis module stores the 360-degree panoramic image taken by the camera module in the memory module, and divides the 360-degree panoramic image for each meeting participant and stores the 360-degree panoramic image in the memory module. Meeting minutes generation system.
청구항 3에 있어서,
상기 영상분석모듈은 상기 360도 파노라마 영상과 분할 영상을 이용하여 안면인식을 통해 회의 참석자의 위치정보를 추출하여 상기 송신기별로 참석자를 매칭하는 것을 특징으로 하는 멀티 커넥션을 통한 회의록 생성 시스템.
The method according to claim 3,
The image analysis module extracts the location information of the meeting attendees through facial recognition using the 360-degree panoramic image and the split image to match the attendees by the transmitters.
청구항 1에 있어서,
상기 송신기와 수신기는 통합될 수 있도록 하되,
상기 마이크모듈은 개수에 따라서 균등하게 영역이 분할되며 설치되도록 하는 것을 특징으로 하는 멀티 커넥션을 통한 회의록 생성 시스템.
The method according to claim 1,
The transmitter and receiver to be integrated,
Wherein the microphone module is divided into equally divided area according to the number of minutes generating system through the multi-connection characterized in that the installation.
청구항 5에 있어서,
상기 마이크모듈은 지향성마이크이고 상기 음성파일 관리모듈은 마이크모듈별 음성파일을 생성하여 상기 메모리모듈에 저장하고 마이크모듈에서 전송되는 음성이 멈추면 해당 마이크모듈별 음성을 상기 마이크모듈별 음성파일에 저장함과 동시에 상기 마이크모듈별 음성파일을 모두 합친 통합 음성파일을 생성한 후 상기 메모리모듈에 저장하는 것을 특징으로 하는 멀티 커넥션을 통한 회의록 생성 시스템.
The method according to claim 5,
The microphone module is a directional microphone, and the voice file management module generates a voice file for each microphone module and stores the voice file in the memory module. When the voice transmitted from the microphone module is stopped, the voice for the microphone module is stored in the voice file for the microphone module. And simultaneously generating an integrated voice file in which all the voice files for each microphone module are combined and storing the integrated voice file in the memory module.
송신기가 회의 참석자의 음성을 마이크모듈로 입력 받아 식별자 신호(ID)와, 상기 송신기에 구비된 카운트모듈에 의해 상기 음성과 함께 카운트된 동기시간을 수신기로 송신하는 음성입력단계;
수신기가 송신기로부터 전송된 음성과 해당 식별자 신호(ID)와 동기시간 및 카메라모듈이 촬영한 영상을 메모리모듈에 저장한 후 상기 영상을 이용하여 송신기별로 회의 참석자를 매칭하여 송신기별 음성파일과 상기 송신기별 파일을 모두 합친 통합 음성파일을 생성하여 서버에 전송하는 음성파일생성단계; 및
서버가 상기 수신기에서 전송되는 송신기별 음성파일과 통합 음성파일을 네트워크를 통해 전송받아 식별자 신호(ID)와 동기 시간별로 정렬한 후 음성을 STT(Speech To Text) 기능을 이용하여 문서파일로 변환하여 회의록을 작성하고 저장하는 회의록생성단계;를 포함하는 것을 특징으로 하는 멀티 커넥션을 통한 회의록 생성 방법.
A voice input step of receiving, by the transmitter, a voice of a conference participant through a microphone module and transmitting an identifier signal (ID) and a synchronization time counted together with the voice by a count module provided in the transmitter to a receiver;
The receiver stores the voice transmitted from the transmitter, the corresponding identifier signal (ID), the synchronization time, and the image taken by the camera module in the memory module, and then matches conference participants by transmitter using the video to transmit the voice file for each transmitter and the transmitter. A voice file generation step of generating an integrated voice file combining all the other files and transmitting the combined voice file to a server; And
The server receives the transmitter-specific voice file and the integrated voice file transmitted from the receiver through the network, sorts them by the ID signal and the synchronization time, and converts the voice into a document file by using the speech to text (STT) function. Meeting minutes generation method through the multi-connection, characterized in that for generating and storing the minutes.
청구항 7에 있어서,
상기 음성파일생성단계는,
카메라모듈이 상기 음성과 동기화된 영상을 촬영하고 영상분석모듈이 상기 영상을 분석하여 회의 참석자 수를 파악하고 송신기별로 참석자를 매칭하는 제1 단계;
송신기로부터 전송된 음성과 해당 식별자 신호(ID)와 동기시간을 메모리모듈에 저장하는 제2 단계;
송신기별로 전송되는 음성을 체크하여 음성이 계속되면 다음 단계로 진행하고 그렇지 않으면 종료하는 제3 단계;
상기 송신기별로 전송되는 음성을 상기 영상분석모듈에 의해 상기 송신기별로 참석자와 매칭하여 해당 참석자의 음성과 해당 식별자 신호(ID)와 동기시간이 포함된 송신기별 음성파일에 추가하는 제4 단계;
상기 추가된 송신기별 음성파일을 상기 송신기별 음성파일을 모두 합친 통합 음성파일에 추가하는 제5 단계; 및
상기 송신기별 음성파일과 통합 음성파일을 서버로 전송하고 제2 단계로 되돌아가 다음 단계를 반복하는 제6 단계;를 포함하는 것을 특징으로 하는 멀티 커넥션을 통한 회의록 생성 방법.
The method according to claim 7,
The voice file generation step,
A first step in which a camera module captures an image synchronized with the voice, and an image analysis module analyzes the image to determine the number of conference attendees and matches attendees by transmitters;
Storing a voice transmitted from a transmitter, a corresponding identifier signal (ID), and a synchronization time in a memory module;
A third step of checking a voice transmitted for each transmitter and continuing to the next step if the voice continues, and terminating otherwise;
A fourth step of matching the voice transmitted by each transmitter with the participant by the image analysis module to the participant and adding the participant's voice, the identifier signal (ID), and the synchronization file including the synchronization time;
A fifth step of adding the added transmitter-specific voice file to an integrated voice file in which all of the transmitter-specific voice files are combined; And
And a sixth step of transmitting the voice file for each transmitter and the integrated voice file to the server, and returning to the second step and repeating the next step.
청구항 8에 있어서,
상기 제1 단계는,
상기 영상분석모듈이 360도 파노라마 영상을 회의 참석자별로 화면을 분할 한 후 화면인식을 통해 회의 참석자의 위치정보를 추출하여 송신기별로 참석자를 매칭하는 것을 특징으로 하는 멀티 커넥션을 통한 회의록 생성 방법.The method according to claim 8,
The first step,
And dividing the screen into 360-degree panoramic images for each meeting participant, extracting the location information of the meeting participant through screen recognition, and matching the attendees by transmitters.
KR1020170117168A 2017-09-13 2017-09-13 System for generating documents of minutes by using multi-connection and the method thereof KR101981049B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170117168A KR101981049B1 (en) 2017-09-13 2017-09-13 System for generating documents of minutes by using multi-connection and the method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170117168A KR101981049B1 (en) 2017-09-13 2017-09-13 System for generating documents of minutes by using multi-connection and the method thereof

Publications (2)

Publication Number Publication Date
KR20190029999A KR20190029999A (en) 2019-03-21
KR101981049B1 true KR101981049B1 (en) 2019-08-28

Family

ID=66036826

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170117168A KR101981049B1 (en) 2017-09-13 2017-09-13 System for generating documents of minutes by using multi-connection and the method thereof

Country Status (1)

Country Link
KR (1) KR101981049B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113660378A (en) * 2020-05-12 2021-11-16 宁波维度数字科技有限公司 Intelligent voice automatic conference record generation system
CN114745213A (en) * 2022-04-11 2022-07-12 深信服科技股份有限公司 Conference record generation method and device, electronic equipment and storage medium

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005197867A (en) * 2004-01-05 2005-07-21 Fuji Photo Film Co Ltd System and method for conference progress support and utterance input apparatus
KR101508092B1 (en) * 2014-03-13 2015-04-07 재단법인 다차원 스마트 아이티 융합시스템 연구단 Method and system for supporting video conference

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100608591B1 (en) * 2005-01-17 2006-08-03 삼성전자주식회사 Method and apparatus for generating multimedia meeting reports
KR101636716B1 (en) * 2009-12-24 2016-07-06 삼성전자주식회사 Apparatus of video conference for distinguish speaker from participants and method of the same

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005197867A (en) * 2004-01-05 2005-07-21 Fuji Photo Film Co Ltd System and method for conference progress support and utterance input apparatus
KR101508092B1 (en) * 2014-03-13 2015-04-07 재단법인 다차원 스마트 아이티 융합시스템 연구단 Method and system for supporting video conference

Also Published As

Publication number Publication date
KR20190029999A (en) 2019-03-21

Similar Documents

Publication Publication Date Title
US11023690B2 (en) Customized output to optimize for user preference in a distributed system
US20220230642A1 (en) Speaker Attributed Transcript Generation
US11875796B2 (en) Audio-visual diarization to identify meeting attendees
US20190190908A1 (en) Systems and methods for automatic meeting management using identity database
US6687671B2 (en) Method and apparatus for automatic collection and summarization of meeting information
US7920158B1 (en) Individual participant identification in shared video resources
US11138980B2 (en) Processing overlapping speech from distributed devices
US9064160B2 (en) Meeting room participant recogniser
US8581700B2 (en) Wearable device
US8791977B2 (en) Method and system for presenting metadata during a videoconference
JP5866728B2 (en) Knowledge information processing server system with image recognition system
CN110324723B (en) Subtitle generating method and terminal
KR101636716B1 (en) Apparatus of video conference for distinguish speaker from participants and method of the same
US10812921B1 (en) Audio stream processing for distributed device meeting
US20150049162A1 (en) Panoramic Meeting Room Video Conferencing With Automatic Directionless Heuristic Point Of Interest Activity Detection And Management
CN112148922A (en) Conference recording method, conference recording device, data processing device and readable storage medium
CN111883168B (en) Voice processing method and device
US10841115B2 (en) Systems and methods for identifying participants in multimedia data streams
US20150302363A1 (en) Meeting Scheduling Method, Device, and System
KR101981049B1 (en) System for generating documents of minutes by using multi-connection and the method thereof
US20210174791A1 (en) Systems and methods for processing meeting information obtained from multiple sources
JP2007241130A (en) System and device using voiceprint recognition
WO2014079302A1 (en) Low-bit-rate video conference system and method, sending end device, and receiving end device
US9609272B2 (en) Optimized video snapshot
EP3963575A1 (en) Distributed device meeting initiation

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant