KR102365611B1 - Meeting management system using automatic speech recognition(ASR) - Google Patents

Meeting management system using automatic speech recognition(ASR) Download PDF

Info

Publication number
KR102365611B1
KR102365611B1 KR1020210112110A KR20210112110A KR102365611B1 KR 102365611 B1 KR102365611 B1 KR 102365611B1 KR 1020210112110 A KR1020210112110 A KR 1020210112110A KR 20210112110 A KR20210112110 A KR 20210112110A KR 102365611 B1 KR102365611 B1 KR 102365611B1
Authority
KR
South Korea
Prior art keywords
voice
action item
information
meeting
user
Prior art date
Application number
KR1020210112110A
Other languages
Korean (ko)
Inventor
오정섭
Original Assignee
오정섭
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 오정섭 filed Critical 오정섭
Priority to KR1020210112110A priority Critical patent/KR102365611B1/en
Application granted granted Critical
Publication of KR102365611B1 publication Critical patent/KR102365611B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/32—Multiple recognisers used in sequence or in parallel; Score combination systems therefor, e.g. voting systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/04—Segmentation; Word boundary detection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/02—Preprocessing operations, e.g. segment selection; Pattern representation or modelling, e.g. based on linear discriminant analysis [LDA] or principal components; Feature selection or extraction
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/90—Pitch determination of speech signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Telephonic Communication Services (AREA)

Abstract

The present invention discloses a system for managing a meeting using a voice recognition. The system for managing the meeting of the present invention comprises: a voice collecting device that generates the voice information by collecting the voices uttered during a meeting for which a plurality of users participate; a meeting management server that estimates an action item to be performed after the meeting is completed using the voice information, and prepares a meeting log using the estimated action items; and a plurality of user terminals that receive the information for the prepared meeting log, and outputs the received information. Therefore, the present invention is capable of increasing an efficiency for work.

Description

음성인식을 이용한 회의 관리 시스템{Meeting management system using automatic speech recognition(ASR)}Meeting management system using automatic speech recognition (ASR)}

본 발명은 회의 관리 시스템에 관한 것으로, 더욱 상세하게는 음성인식을 기반으로 회의 내용 중 추후 수행해야 하는 액션 아이템(action item)과 관련된 대화 내용을 검출하고, 검출된 내용과 관련하여 해당 사용자에게 제공하는 음성인식을 이용한 회의 관리 시스템에 관한 것이다.The present invention relates to a conference management system, and more particularly, detects conversation contents related to an action item to be performed later among conference contents based on voice recognition, and provides them to a corresponding user in relation to the detected contents It relates to a conference management system using voice recognition.

최근 회의를 하는데 있어서 회의록을 기록하는 것이 일반적으로 행해지고 있지고 있으며, 이러한 회의록을 음성인식을 통해 기록하는 기술들이 개발되고 있다. 예를 들어 회의 중에 발생되는 음성의 단락을 음성 메모에 저장하고, 각 음성 메모를 재생한 후, 인식되는 텍스트를 텍스트 메모에 문장화한다. 이때 텍스트 메모를 구조화함으로써, 회의의 발화 내용을 요약한 회의록을 작성할 수도 있다.In recent meetings, it is generally done to record the minutes, and technologies for recording these minutes through voice recognition are being developed. For example, a paragraph of speech generated during a meeting is stored in a voice memo, and after each voice memo is played, the recognized text is transcribed into a text memo. In this case, by structuring the text memo, it is also possible to create minutes summarizing the utterances of the meeting.

하지만 이러한 회의록 작성 기술은 음성의 단락을 속성마다 구분하여 저장하지 않음으로써, 보다 효과적인 회의록을 작성할 수 없으며, 그 활용도에서도 한계를 나타내고 있는 실정이다.However, since such a meeting minutes writing technique does not separate and store speech paragraphs for each attribute, it is impossible to create more effective meeting minutes, and the utilization thereof is also limited.

한국공개특허공보 제10-2014-0077514호(2014.06.24.)Korean Patent Publication No. 10-2014-0077514 (2014.06.24.)

본 발명이 이루고자 하는 기술적 과제는 회의가 끝난 후, 수행되어야 하는 액션 아이템을 추정하고, 추정된 액션 아이템에 대한 정보를 포함하는 회의록을 자동으로 생성하여 회의에 참여한 사용자들이 회의록을 확인할 수 있게 도와주는 음성인식을 이용한 회의 관리 시스템을 제공하는데 목적이 있다.The technical problem to be achieved by the present invention is to estimate an action item to be performed after the meeting is over, and automatically generate meeting minutes including information on the estimated action item to help users participating in the meeting check the meeting minutes. An object of the present invention is to provide a conference management system using voice recognition.

상기 목적을 달성하기 위해 본 발명에 따른 음성인식을 이용한 회의 관리 시스템은 복수의 사용자가 참여한 회의 중에 발화되는 음성을 수집하여 음성정보를 생성하는 음성 수집 장치, 상기 음성정보를 이용하여 회의가 완료된 후에 수행되어야 하는 액션 아이템(action item)을 추정하고, 상기 추정된 액션 아이템을 이용하여 회의록을 작성하는 회의 관리 서버 및 상기 작성된 회의록에 대한 정보를 수신하고, 상기 수신된 정보를 출력하는 복수의 사용자 단말을 포함하되, 상기 회의 관리 서버는, 상기 음성 수집 장치 및 상기 복수의 사용자 단말과 통신을 하는 서버 통신부 및 상기 음성 수집 장치로부터 수신된 음성정보에 포함된 음성을 인식하고, 상기 인식된 음성을 전처리한 후, 상기 액션 아이템을 사용자별로 추정하며, 상기 추정된 액션 아이템에 대한 정보가 포함된 회의록을 작성하는 서버 제어부를 포함하는 것을 특징으로 한다.In order to achieve the above object, a conference management system using voice recognition according to the present invention includes a voice collection device that collects voices uttered during a meeting in which a plurality of users participate and generates voice information, and after the meeting is completed using the voice information. A conference management server for estimating an action item to be performed and writing a meeting minute by using the estimated action item, and a plurality of user terminals for receiving information on the prepared meeting minutes and outputting the received information including, wherein the conference management server recognizes a voice included in the voice information received from the voice collection device and the server communication unit communicating with the plurality of user terminals and the voice collection device, and pre-processes the recognized voice and then estimating the action item for each user, and comprising a server control unit for creating a meeting record including information on the estimated action item.

또한 상기 서버 제어부는, 상기 인식된 음성을 텍스트화하고, 상기 음성이 변환된 텍스트에서 특정 키워드를 스폿팅(spotting)하여 상기 액션 아이템과 관련된 문장을 판별하는 것을 특징으로 한다.In addition, the server control unit is characterized in that the recognized voice is converted to text, and a sentence related to the action item is determined by spotting a specific keyword in the text in which the voice is converted.

또한 상기 서버 제어부는, 상기 판별된 문장을 분해하고, 상기 분해된 문장에서 상기 액션 아이템의 내용, 상기 액션 아이템을 수행해야 하는 사용자, 수행 완료일 및 우선순위 중 적어도 하나의 속성으로 구분하여 데이터화하는 것을 특징으로 한다.In addition, the server control unit decomposes the determined sentence, and in the decomposed sentence, the content of the action item, the user who needs to perform the action item, and at least one attribute of the execution completion date and priority to data characterized.

또한 상기 서버 제어부는, 상기 분해된 문장에서 사용자의 이름이 일부 또는 호칭을 포함한 명칭으로 작성된 경우, 상기 명칭을 해당 사용자의 전체 이름으로 변환하여 데이터화하는 것을 특징으로 한다.In addition, when the name of the user in the decomposed sentence is written as a name including a part or a title, the server controller converts the name into the full name of the user and converts the name into data.

또한 상기 서버 제어부는, 상기 수신된 음성정보에 포함된 주파수 대역, 음성 크기, 악센트 및 뉘앙스 중 적어도 하나를 기 저장된 사용자 정보와 비교하여 음성을 발화하는 사용자를 판별하는 것을 특징으로 한다.In addition, the server control unit is characterized in that it compares at least one of a frequency band, a voice volume, an accent, and a nuance included in the received voice information with pre-stored user information to determine the user who utters the voice.

또한 상기 서버 제어부는, 상기 추정된 액션 아이템의 선후 관계를 산출하고, 상기 산출된 선후 관계를 이용하여 상기 액션 아이템에 대한 퍼트차트(pert chart)를 생성하며, 상기 생성된 퍼트차트를 이용하여 상기 회의록을 작성하는 것을 특징으로 한다.In addition, the server control unit calculates a precedence relation of the estimated action item, generates a pert chart for the action item using the calculated precedence relation, and uses the generated putt chart to It is characterized by taking the minutes of the meeting.

또한 상기 서버 제어부는, 상기 인식된 음성 중 기 설정된 시간동안 발화가 없는 구간이 존재하면 해당 구간을 문단으로 판단하고, 각 문단별로 기 설정된 횟수 이상 반복되는 주요 단어를 추출하며, 상기 추출된 주요 단어를 이용하여 요약서를 생성하고, 상기 요약서가 더 포함되도록 상기 회의록을 작성하는 것을 특징으로 한다.In addition, the server control unit, if there is a section in which there is no utterance for a preset time among the recognized voices, determines the section as a paragraph, extracts a key word that is repeated more than a preset number of times for each paragraph, and the extracted key word to generate a summary, and to prepare the minutes so that the summary is further included.

또한 상기 사용자 단말은, 상기 출력된 정보 중 어느 하나의 액션 아이템이 선택되면 해당 액션 아이템과 관련된 음성정보를 출력하는 것을 특징으로 한다.In addition, the user terminal is characterized in that when any one action item is selected among the output information, the voice information related to the corresponding action item is output.

본 발명의 음성인식을 이용한 회의 관리 시스템은 회의 중에 발화되는 음성정보를 기반으로 회의가 끝난 후, 수행되어야 하는 액션 아이템을 추정하고, 추정된 액션 아이템을 수행해야 하는 사용자에게 해당 액션 아이템에 대한 정보를 포함한 회의록을 제공함으로써, 회의에 참여한 사용자들에게 자신이 수행해야 할 액션 아이템에 대해 재인식시켜줘 일에 대한 능률을 높일 수 있다.The meeting management system using voice recognition of the present invention estimates an action item to be performed after a meeting is over based on voice information uttered during a meeting, and provides information on the action item to a user who needs to perform the estimated action item By providing meeting minutes including

이때 본 발명은 액션 아이템에 대한 퍼트차트(pert chart)를 생성하고, 생성된 퍼트차트를 이용하여 체계적인 회의록을 작성할 수 있다.At this time, the present invention can create a pert chart for the action item, and use the generated pert chart to create systematic meeting minutes.

도 1은 본 발명의 실시예에 따른 회의 관리 시스템을 설명하기 위한 구성도이다.
도 2는 본 발명의 실시예에 따른 음성 수집 장치를 설명하기 위한 블록도이다.
도 3은 본 발명의 실시예에 따른 회의 관리 서버를 설명하기 위한 블록도이다.
도 4는 본 발명의 실시예에 따른 서버 제어부를 설명하기 위한 블록도이다.
도 5는 본 발명의 실시예에 따른 액션 아이템의 추정 및 사용자 명칭 변환을 설명하기 위한 도면이다.
도 6은 본 발명의 실시예에 따른 퍼트차트를 설명하기 위한 도면이다.
도 7은 본 발명의 실시예에 따른 회의록 사용자 인터페이스를 설명하기 위한 도면이다.
도 8은 본 발명의 실시예에 따른 회의 관리 방법을 설명하기 위한 순서도이다.1 is a configuration diagram for explaining a conference management system according to an embodiment of the present invention.
2 is a block diagram illustrating an apparatus for collecting voice according to an embodiment of the present invention.
3 is a block diagram illustrating a conference management server according to an embodiment of the present invention.
4 is a block diagram illustrating a server control unit according to an embodiment of the present invention.
5 is a diagram for explaining the estimation of an action item and conversion of a user name according to an embodiment of the present invention.
6 is a view for explaining a putt chart according to an embodiment of the present invention.
7 is a diagram for explaining a meeting minutes user interface according to an embodiment of the present invention.
8 is a flowchart illustrating a conference management method according to an embodiment of the present invention.

이하 본 발명의 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의한다. 또한 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 당업자에게 자명하거나 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. First, in adding reference numerals to the components of each drawing, it should be noted that the same components are given the same reference numerals as much as possible even though they are indicated on different drawings. In addition, in describing the present invention, if it is determined that a detailed description of a related known configuration or function is obvious to those skilled in the art or may obscure the gist of the present invention, the detailed description thereof will be omitted.

도 1은 본 발명의 실시예에 따른 회의 관리 시스템을 설명하기 위한 구성도이다.1 is a configuration diagram for explaining a conference management system according to an embodiment of the present invention.

도 1을 참조하면, 회의 관리 시스템(400)은 회의가 끝난 후, 수행되어야 하는 액션 아이템을 추정하고, 추정된 액션 아이템에 대한 정보를 포함하는 회의록을 자동으로 생성하여 회의에 참여한 사용자들이 회의록을 확인할 수 있게 도와준다. 회의 관리 시스템(400)은 음성 수집 장치(100), 회의 관리 서버(200) 및 복수의 사용자 단말(300)을 포함한다. 또한 회의 관리 시스템(400)은 음성 수집 장치(100), 회의 관리 서버(200) 및 복수의 사용자 단말(300) 사이에 통신이 수행되도록 통신망(450)을 구축한다. 여기서 통신망(450)은 백본망과 가입자망으로 구성될 수 있다. 백본망은 X.25 망, Frame Relay 망, ATM망, MPLS(Multi Protocol Label Switching) 망 및 GMPLS(Generalized Multi Protocol Label Switching) 망 중 하나 또는 복수의 통합된 망으로 구성될 수 있다. 가입자망은 FTTH(Fiber To The Home), ADSL(Asymmetric Digital Subscriber Line), 케이블망, 지그비(zigbee), 블루투스(bluetooth), Wireless LAN(IEEE 802.11b, IEEE 802.11a, IEEE 802.11g, IEEE 802.11n), Wireless Hart(ISO/IEC62591-1), ISA100.11a(ISO/IEC 62734), COAP(Constrained Application Protocol), MQTT(Multi-Client Publish/Subscribe Messaging), WIBro(Wireless Broadband), Wimax, 3G, HSDPA(High Speed Downlink Packet Access), 4G 및 5G일 수 있다. 일부 실시예로, 통신망(450)은 인터넷망일 수 있고, 이동 통신망일 수 있다. 또한 통신망(150)은 기타 널리 공지되었거나 향후 개발될 모든 무선통신 또는 유선통신 방식을 포함할 수 있다.Referring to FIG. 1 , the conference management system 400 estimates an action item to be performed after a conference is over, and automatically generates conference minutes including information on the estimated action item to allow users participating in the conference to keep the conference minutes. help you check The conference management system 400 includes a voice collection device 100 , a conference management server 200 , and a plurality of user terminals 300 . In addition, the conference management system 400 constructs a communication network 450 to perform communication between the voice collection device 100 , the conference management server 200 , and the plurality of user terminals 300 . Here, the communication network 450 may be composed of a backbone network and a subscriber network. The backbone network may be composed of one or a plurality of integrated networks among an X.25 network, a Frame Relay network, an ATM network, a Multi Protocol Label Switching (MPLS) network, and a Generalized Multi Protocol Label Switching (GMPLS) network. Subscriber networks include FTTH (Fiber To The Home), ADSL (Asymmetric Digital Subscriber Line), cable networks, Zigbee, Bluetooth, and Wireless LAN (IEEE 802.11b, IEEE 802.11a, IEEE 802.11g, IEEE 802.11n). ), Wireless Hart (ISO/IEC62591-1), ISA100.11a (ISO/IEC 62734), COAP (Constrained Application Protocol), MQTT (Multi-Client Publish/Subscribe Messaging), WIBro (Wireless Broadband), Wimax, 3G, High Speed Downlink Packet Access (HSDPA), 4G and 5G. In some embodiments, the communication network 450 may be an Internet network or a mobile communication network. In addition, the communication network 150 may include all other well-known wireless communication or wired communication methods to be developed in the future.

음성 수집 장치(100)는 회의에 발화되는 음성을 수집한다. 음성 수집 장치(100)는 이동이 가능하며, 수집된 음성에 대한 음성정보를 회의 관리 서버(200)로 전송한다. 또한 음성 수집 장치(100)는 현재 상태를 시각적 또는 청각적으로 출력하여 회의에 참여한 사용자들이 음성 수집 장치(100)의 현재 상태(수집상태, 고장상태 등)를 인지할 수 있도록 할 수 있다.The voice collection device 100 collects voices uttered in a meeting. The voice collecting device 100 is movable, and transmits voice information on the collected voice to the conference management server 200 . Also, the voice collection device 100 may visually or audibly output the current state so that users participating in the conference can recognize the current state (collection state, failure state, etc.) of the voice collection device 100 .

회의 관리 서버(200)는 음성 수집 장치(100)로부터 수신된 음성정보를 이용하여 회의가 완료된 후에 수행되어야 하는 액션 아이템을 추정한다. 여기서 액션 아이템은 다양한 종류의 업무 내용일 수 있다. 회의 관리 서버(200)는 추정된 액션 아이템을 이용하여 회의록을 작성한다. 이때 회의 관리 서버(200)는 회의록에 일정 관리 정보, 액션 아이템에 대한 정보, 원본 회의록 및 요약 회의록 중 적어도 하나가 포함되도록 작성할 수 있다. 회의 관리 서버(200)는 작성된 회의록을 회의에 참여한 사용자들에게 전송한다. The conference management server 200 estimates an action item to be performed after the conference is completed by using the voice information received from the voice collection device 100 . Here, the action item may be various types of work contents. The conference management server 200 writes the minutes by using the estimated action item. In this case, the meeting management server 200 may write the meeting minutes to include at least one of schedule management information, action item information, original meeting minutes, and summary meeting minutes. The conference management server 200 transmits the prepared conference minutes to users participating in the conference.

복수의 사용자 단말(300)은 회의에 참여한 사용자들의 단말로써, 제1 사용자 단말(300a), 제2 사용자 단말(300b) 내지 제n 사용자 단말(300c)(n은 회의에 참여한 사용자의 수)를 포함할 수 있다. 복수의 사용자 단말(300)은 회의 관리 서버(200)로부터 작성된 회의록에 대한 정보를 수신하고, 수신된 정보를 출력한다. 이때 사용자 단말(300)은 출력된 정보의 속성을 구분하고, 구분된 속성별로 사용자 인터페이스(UI)를 구축하여 해당 정보를 출력할 수 있다. 예를 들어 사용자 단말(300)은 일정 관리 정보, 액션 아이템에 대한 정보, 원본 회의록, 요약 회의록 중 적어도 하나를 구획으로 구분하여 출력할 수 있다. 또한 사용자 단말(300)은 출력된 정보 중 어느 하나의 액션 아이템이 사용자 입력에 의해 선택된 경우, 해당 액션 아이템과 관련된 음성정보를 출력하여 회의 당시 상황을 재인지하도록 도와줄 수 있다. 사용자 단말(300)은 스마트폰, 태블릿 PC, 랩톱 등과 같은 개인용 컴퓨팅 시스템일 수 있다.The plurality of user terminals 300 are terminals of users participating in a conference, and include a first user terminal 300a, a second user terminal 300b to an n-th user terminal 300c (n is the number of users participating in the conference). may include The plurality of user terminals 300 receive information about the prepared meeting minutes from the meeting management server 200 and output the received information. In this case, the user terminal 300 may classify the properties of the output information, construct a user interface (UI) for each property, and output the corresponding information. For example, the user terminal 300 may divide and output at least one of schedule management information, action item information, original meeting minutes, and summary meeting minutes into sections. In addition, when any one action item among the output information is selected by a user input, the user terminal 300 may output voice information related to the corresponding action item to help re-recognize the situation at the time of the meeting. The user terminal 300 may be a personal computing system such as a smart phone, a tablet PC, a laptop, and the like.

한편 도면에서는 음성 수집 장치(100) 및 회의 관리 서버(200)가 개별적인 장치로 도시되고 있으나, 이에 한정하지 않고 회의 관리 시스템(400)이 구현되는 환경에 따라 음성 수집 장치(100) 및 회의 관리 서버(200)가 하나의 장치로 구현될 수 있다.Meanwhile, in the drawings, the voice collection device 100 and the conference management server 200 are illustrated as separate devices, but the present invention is not limited thereto, and the voice collection device 100 and the conference management server according to the environment in which the conference management system 400 is implemented. 200 may be implemented as one device.

도 2는 본 발명의 실시예에 따른 음성 수집 장치를 설명하기 위한 블록도이다.2 is a block diagram illustrating an apparatus for collecting voice according to an embodiment of the present invention.

도 1 및 도 2를 참조하면, 음성 수집 장치(100)는 장치 통신부(110), 음성 수집부(120) 및 장치 제어부(130)를 포함하고, 장치 출력부(140) 및 장치 저장부(150)를 더 포함할 수 있다.1 and 2 , the voice collection device 100 includes a device communication unit 110 , a voice collection unit 120 , and a device control unit 130 , and a device output unit 140 and a device storage unit 150 . ) may be further included.

장치 통신부(110)는 회의 관리 서버(200) 및 복수의 사용자 단말(300)과 통신을 한다. 장치 통신부(110)는 음성정보를 회의 관리 서버(200)로 전송한다. 장치 통신부(110)는 사용자 단말(300)로부터 사용자 입력을 수신할 수 있다.The device communication unit 110 communicates with the conference management server 200 and the plurality of user terminals 300 . The device communication unit 110 transmits voice information to the conference management server 200 . The device communication unit 110 may receive a user input from the user terminal 300 .

음성 수집부(120)는 회의 중에 발화되는 음성을 수집한다. 음성 수집부(120)는 적어도 하나의 마이크일 수 있으며, 바람직하게는 360도 전방위에서 발화되는 음성을 수집할 수 있다.The voice collection unit 120 collects voices uttered during a meeting. The voice collection unit 120 may be at least one microphone, and preferably may collect voices uttered in 360 degrees.

장치 제어부(130)는 음성 수집 장치(100)의 전반적인 제어를 수행한다. 장치 제어부(130)는 음성 수집부(120)로부터 수집된 음성을 데이터화하여 음성정보를 생성한다. 이때 장치 제어부(130)는 음성에 포함된 노이즈를 제거하는 전처리 과정을 거친 후, 음성정보를 생성할 수 있다. 장치 제어부(130)는 생성된 음성정보가 장치 통신부(110)를 통해 회의 관리 서버(200)로 전송되도록 제어한다. 장치 제어부(130)는 복수의 사용자 단말(300) 중 어느 하나로부터 음성 수집 장치(100)를 제어하기 위한 사용자 입력을 수신하면 수신된 사용자 입력에 따라 제어할 수 있다. 여기서 사용자 입력은 전원의 온/오프 제어, 음성 수집 제어 등의 명령을 포함할 수 있다.The device controller 130 performs overall control of the voice collection device 100 . The device control unit 130 generates voice information by converting the voice collected from the voice collecting unit 120 into data. In this case, the device controller 130 may generate voice information after undergoing a pre-processing process of removing noise included in the voice. The device control unit 130 controls so that the generated voice information is transmitted to the conference management server 200 through the device communication unit 110 . When receiving a user input for controlling the voice collection apparatus 100 from any one of the plurality of user terminals 300 , the device controller 130 may control it according to the received user input. Here, the user input may include commands such as power on/off control and voice collection control.

장치 출력부(140)는 음성 수집 장치(100)의 현재 상태를 출력한다. 장치 출력부(140)는 온/오프 전원 상태, 음성 수집 상태, 저장 가능 용량 상태 등을 시각적, 청각적으로 출력한다. 이를 위해 장치 출력부(140)는 LCD 등과 같은 디스플레이, 스피커 등을 포함할 수 있다.The device output unit 140 outputs the current state of the voice collection device 100 . The device output unit 140 visually and aurally outputs an on/off power state, a voice collection state, a storage capacity state, and the like. To this end, the device output unit 140 may include a display such as an LCD, a speaker, and the like.

장치 저장부(150)는 음성 수집 장치(100)를 구동하기 위한 프로그램 또는 알고리즘이 저장된다. 장치 저장부(150)는 장치 제어부(130)로부터 생성된 음성정보가 저장된다. 장치 저장부(150)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기메모리, 자기 디스크 및 광디스크 중 적어도 하나의 저장매체를 포함할 수 있다. The device storage unit 150 stores a program or algorithm for driving the voice collection device 100 . The device storage unit 150 stores voice information generated by the device control unit 130 . Device storage unit 150 is a flash memory type (flash memory type), hard disk type (hard disk type), media card micro type (multimedia card micro type), card type memory (for example, SD or XD memory, etc.) , Random Access Memory (RAM), Static Random Access Memory (SRAM), Read-Only Memory, ROM, Electrically Erasable Programmable Read-Only Memory (EEPROM), Programmable Read-Only Memory (PROM), Magnetic Memory , may include at least one storage medium of a magnetic disk and an optical disk.

도 3은 본 발명의 실시예에 따른 회의 관리 서버를 설명하기 위한 블록도이다.3 is a block diagram illustrating a conference management server according to an embodiment of the present invention.

도 1 및 도 3을 참조하면, 회의 관리 서버(200)는 서버 통신부(210) 및 서버 제어부(220)를 포함하고, 서버 저장부(230)를 더 포함할 수 있다. 1 and 3 , the conference management server 200 includes a server communication unit 210 and a server control unit 220 , and may further include a server storage unit 230 .

서버 통신부(210)는 음성 수집 장치(100) 및 복수의 사용자 단말(300)과 통신을 한다. 서버 통신부(210)는 음성 수집 장치(100)로부터 음성정보를 수신하고, 복수의 사용자 단말(300)로 회의록에 대한 정보를 전송힌다.The server communication unit 210 communicates with the voice collection device 100 and the plurality of user terminals 300 . The server communication unit 210 receives voice information from the voice collection device 100 , and transmits information about the meeting minutes to the plurality of user terminals 300 .

서버 제어부(220)는 회의 관리 서버(200)의 전반적인 제어를 수행한다. 서버 제어부(220)는 음성 수집 장치(100)로부터 수신된 음성정보에 포함된 음성을 인식한다. 서버 제어부(220)는 인식된 음성을 전처리 과정을 거쳐 텍스트화한다. 서버 제어부(220)는 음성이 변환된 텍스트에서 특정 키워드를 키워드 스폿팅(keyword spotting)하여 액션 아이템과 관련된 문장을 판별한다. 서버 제어부(220)는 판별된 문장을 이용하여 사용자별로 해당 액션 아이템을 추정한다. 서버 제어부(220)는 추정된 액션 아이템에 대한 정보를 이용하여 회의록을 작성한다. 이때 서버 제어부(220)는 회의록에 일정 관리 정보, 원본 회의록 및 요약 회의록 중 적어도 하나가 포함되도록 생성할 수 있다. 서버 제어부(220)는 작성된 회의록에 대한 정보를 복수의 사용자 단말(300)로 전송하도록 제어한다. 이때 서버 제어부(220)는 복수의 사용자 단말(300)을 일부만을 선택하여 회의록에 대한 정보를 전송하도록 제어할 수 있다. 예를 들어 서버 제어부(220)는 복수의 사용자 단말(300) 중 액션 아이템을 수행해야 하는 사용자의 사용자 단말에게만 회의록에 대한 정보를 전송할 수 있으나, 이에 한정하지 않는다.The server controller 220 performs overall control of the conference management server 200 . The server controller 220 recognizes a voice included in the voice information received from the voice collection device 100 . The server controller 220 converts the recognized voice into text through a pre-processing process. The server control unit 220 determines a sentence related to an action item by keyword spotting a specific keyword in the speech-converted text. The server controller 220 estimates a corresponding action item for each user by using the determined sentence. The server control unit 220 writes the meeting minutes by using the information on the estimated action item. In this case, the server controller 220 may generate the meeting minutes to include at least one of schedule management information, original meeting minutes, and summary meeting minutes. The server control unit 220 controls to transmit information on the prepared meeting minutes to the plurality of user terminals 300 . In this case, the server control unit 220 may select only a part of the plurality of user terminals 300 and control to transmit information about the meeting minutes. For example, the server control unit 220 may transmit the information on the meeting minutes only to the user terminal of the user who needs to perform the action item among the plurality of user terminals 300 , but is not limited thereto.

서버 저장부(230)는 회의 관리 서버(200)를 구동하기 위한 프로그램 또는 알고리즘이 저장된다. 서버 저장부(230)는 서버 통신부(210)로부터 수신된 음성정보가 저장된다. 서버 제어부(230)로부터 작성된 회의록에 대한 정보가 저장된다. 서버 저장부(230)는 플래시 메모리 타입, 하드디스크 타입, 미디어 카드 마이크로 타입, 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램, SRAM, 롬, EEPROM, PROM, 자기메모리, 자기 디스크 및 광디스크 중 적어도 하나의 저장매체를 포함할 수 있다. The server storage unit 230 stores a program or algorithm for driving the conference management server 200 . The server storage unit 230 stores voice information received from the server communication unit 210 . Information about the meeting minutes prepared by the server control unit 230 is stored. The server storage unit 230 is a flash memory type, hard disk type, media card micro type, card type memory (eg, SD or XD memory, etc.), RAM, SRAM, ROM, EEPROM, PROM, magnetic memory, magnetic disk and at least one storage medium among optical disks.

도 4는 본 발명의 실시예에 따른 서버 제어부를 설명하기 위한 블록도이고, 도 5는 본 발명의 실시예에 따른 액션 아이템의 추정 및 사용자 명칭 변환을 설명하기 위한 도면이며, 도 6은 본 발명의 실시예에 따른 퍼트차트를 설명하기 위한 도면이며, 도 7은 본 발명의 실시예에 따른 회의록 사용자 인터페이스를 설명하기 위한 도면이다. 4 is a block diagram for explaining a server control unit according to an embodiment of the present invention, FIG. 5 is a diagram for explaining an action item estimation and user name conversion according to an embodiment of the present invention, and FIG. 6 is a diagram for the present invention It is a view for explaining a putt chart according to an embodiment of the present invention, Figure 7 is a view for explaining a meeting minutes user interface according to an embodiment of the present invention.

도 3 내지 도 7을 참조하면, 서버 제어부(220)는 음성 인식부(221), 전처리부(223), 액션 아이템 추정부(225) 및 회의록 작성부(227)를 포함한다.3 to 7 , the server control unit 220 includes a voice recognition unit 221 , a preprocessor 223 , an action item estimation unit 225 , and a meeting minutes preparation unit 227 .

음성 인식부(221)는 서버 통신부(210)를 통해 수신된 음성정보를 인식한다. 이때 음성 인식부(221)는 수신된 음성정보를 필터링하여 음성정보에 포함된 노이즈를 제거할 수 있다. 또한 음성 인식부(221)는 종래에 공지된 다양한 종류의 음성인식 기술을 이용하여 음성을 인식할 수 있다. The voice recognition unit 221 recognizes voice information received through the server communication unit 210 . In this case, the voice recognition unit 221 may filter the received voice information to remove noise included in the voice information. Also, the voice recognition unit 221 may recognize a voice using various types of conventionally known voice recognition technologies.

전처리부(223)는 음성 인식부(221)에서 인식된 음성을 전처리한다. 전처리부(223)는 음성을 텍스트화하여 음성을 텍스트로 변환한다. 전처리부(223)는 변환된 텍스트에 대한 맞춤법 검사를 자동으로 수행하여 변환된 텍스트에 포함된 오타를 수정할 수 있다.The preprocessor 223 preprocesses the voice recognized by the voice recognition unit 221 . The preprocessor 223 converts the voice into text by converting the voice into text. The preprocessor 223 may correct a typo included in the converted text by automatically performing a spell check on the converted text.

액션 아이템 추정부(225)는 변환된 텍스트를 키워드 스폿팅(keyword spotting)하여 회의가 완료된 후에 수행되어야 하는 액션 아이템을 추정한다. 상세하게는 액션 아이템 추정부(225)는 음성이 변환된 텍스트에서 특정 키워드를 스폿팅(spotting)하여 액션 아이템과 관련된 문장을 판별하고, 판별된 문장을 기반으로 액션 아이템을 추정한다. 예를 들어 변환된 텍스트에서 “무엇을 언제까지 누가 어떻게 해주세요.”라는 텍스트가 존재하고, 액션 아이템 추정부(225)가 “~ 주세요.”를 특정 키워드로 설정한 경우, 액션 아이템 추정부(225)는 설정된 특정 키워드를 스폿팅하여 액션 아이템과 관련된 문장을 판별한다. 이때 액션 아이템 추정부(225)는 판별된 문장을 분해하고, 분해된 문장을 속성별로 구분하여 데이터화한다. 즉 액션 아이템 추정부(225)는 분해된 문장에서 액션 아이템의 내용, 액션 아이템을 수행해야 하는 사용자, 수행 완료일 및 우선순위 중 적어도 하나의 속성으로 구분하여 데이터화할 수 있다(도 5). 액션 아이템 추정부(225)는 음성정보에 포함된 주파수 대역, 음성 크기, 악센트 및 뉘앙스 중 적어도 하나를 기 저장된 사용자 정보와 비교하여 음성을 발화하는 사용자를 판별한 후, 판별된 사용자 및 발화 시점을 액션 아이템에 매칭시켜 언제 누가 누구에게 액션 아이템을 요청했는지를 데이터화할 수 있다. 또한 액션 아이템 추정부(225)는 분해된 문장에서 사용자의 이름이 일부 또는 직급, 애칭 등과 같은 호칭을 포함한 명칭으로 작성된 경우, 해당 명칭을 해당 사용자의 전체 이름으로 변환한 후, 데이터화할 수 있다. 예를 들어 텍스트에 성대리, 홍과장 등과 같은 호칭으로 표현된 경우, 액션 아이템 추정부(225)는 성대리를 성춘향, 홍과장을 홍길동으로 변환한 후, 데이터화할 수 있다. 액션 아이템 추정부(225)는 추정된 액션 아이템의 선후 관계를 산출하고, 산출된 선후 관계를 이용하여 상기 액션 아이템에 대한 퍼트차트(pert chart)를 생성한다(도 6). 이를 통해 액션 아이템 추정부(225)는 추후 작성되는 회의록이 시계열순으로 작성되도록 지원할 수 있다.The action item estimation unit 225 estimates the action item to be performed after the meeting is completed by keyword spotting the converted text. In detail, the action item estimator 225 determines a sentence related to the action item by spotting a specific keyword in the speech-converted text, and estimates the action item based on the determined sentence. For example, in the converted text, if the text “what, when, who, how,” exists, and the action item estimator 225 sets “Please ~” as a specific keyword, the action item estimator 225 ) identifies the sentence related to the action item by spotting the set specific keyword. At this time, the action item estimator 225 decomposes the determined sentence, classifies the decomposed sentence by attribute, and converts it into data. That is, the action item estimator 225 may classify the content of the action item in the decomposed sentence into at least one attribute of the user who needs to perform the action item, the completion date of the action, and the priority ( FIG. 5 ). The action item estimating unit 225 compares at least one of a frequency band, a voice volume, an accent, and a nuance included in the voice information with pre-stored user information to determine the user who utters the voice, and then determines the user and the utterance time. By matching the action item, it is possible to data when, who requested the action item from whom. In addition, when the user's name in the decomposed sentence is written as a part or a name including a title, such as a title or a nickname, the action item estimator 225 may convert the name into the full name of the user and then convert it into data. For example, if the text is expressed by titles such as Assistant Manager Seong, Manager Hong, etc., the action item estimator 225 may convert Assistant Manager Seong Chun-hyang and Manager Hong into Gil-dong Hong, and then convert it into data. The action item estimator 225 calculates a precedence relationship of the estimated action item, and generates a pert chart for the action item using the calculated precedence relationship ( FIG. 6 ). Through this, the action item estimating unit 225 may support to write the meeting minutes to be prepared later in chronological order.

회의록 작성부(227)는 추정된 액션 아이템에 대한 정보가 포함된 회의록을 작성한다. 또한 회의록 작성부(227)는 인식된 음성 중 기 설정된 시간동안 발화가 없는 구간이 존재하면 해당 구간을 문단으로 판단하고, 각 문단별로 기 설정된 횟수 이상 반복되는 주요 단어를 추출하며, 추출된 주요 단어를 이용하여 요약서를 생성한 후, 생성된 요약서를 회의록에 더 포함되도록 작성한다. 이를 통해 회의록 작성부(227)는 회의록에 일정 관리 정보(510), 원본 회의록(520), 액션 아이템에 대한 정보(530) 및 요약 회의록(540) 중 적어도 하나가 포함되도록 작성한다.The meeting minutes preparation unit 227 creates meeting minutes including information on the estimated action item. In addition, if there is a section in which there is no utterance for a preset time among the recognized voices, the meeting minutes writing unit 227 determines the section as a paragraph, extracts a key word that is repeated more than a preset number of times for each paragraph, and the extracted key word After generating a summary using Through this, the meeting minutes preparation unit 227 writes the meeting minutes to include at least one of the schedule management information 510 , the original meeting minutes 520 , the action item information 530 , and the summary meeting minutes 540 .

도 8은 본 발명의 실시예에 따른 회의 관리 방법을 설명하기 위한 순서도이다.8 is a flowchart illustrating a conference management method according to an embodiment of the present invention.

도 1 및 도 8을 참조하면, 회의 관리 방법은 회의 중에 발화되는 음성정보를 기반으로 회의가 끝난 후, 수행되어야 하는 액션 아이템을 추정하고, 추정된 액션 아이템을 수행해야 하는 사용자에게 해당 액션 아이템에 대한 정보를 포함한 회의록을 제공한다. 이를 통해 회의 관리 방법은 회의에 참여한 사용자들에게 자신이 수행해야 할 액션 아이템에 대해 재인식시켜줘 일에 대한 능률을 높여준다.1 and 8 , the meeting management method estimates an action item to be performed after a meeting is over based on voice information uttered during a meeting, and provides the user who needs to perform the estimated action item to the corresponding action item. Minutes of the meeting, including information on Through this, the meeting management method increases work efficiency by re-aware of the action item to be performed by users participating in the meeting.

S110 단계에서, 회의 관리 서버(200)는 음성정보를 수신한다. 회의 관리 서버(200)는 음성 수집 장치(100)로부터 회의 중에 발화된 음성의 음성정보를 수신한다.In step S110, the conference management server 200 receives voice information. The conference management server 200 receives voice information of a voice uttered during a meeting from the voice collection device 100 .

S120 단계에서, 회의 관리 서버(200)는 음성을 인식한다. 회의 관리 서버(200)는 수신된 음성정보를 필터링하여 음성정보에 포함된 노이즈를 제거한 후, 종래에 공지된 다양한 종류의 음성인식 기술을 이용하여 음성을 인식한다.In step S120 , the conference management server 200 recognizes a voice. The conference management server 200 filters the received voice information to remove noise included in the voice information, and then recognizes the voice using various types of conventionally known voice recognition technologies.

S130 단계에서, 회의 관리 서버(200)는 인식된 음성을 전처리한다. 회의 관리 서버(200)는 텍스트화하여 음성을 텍스트로 변환한다. 회의 관리 서버(200)는 변환된 텍스트에 대한 맞춤법 검사를 자동으로 수행하여 변환된 텍스트에 포함된 오타를 수정할 수 있다.In step S130, the conference management server 200 pre-processes the recognized voice. The conference management server 200 converts the voice into text by converting it to text. The conference management server 200 may correct a typo included in the converted text by automatically performing a spell check on the converted text.

S140 단계에서, 회의 관리 서버(200)는 액션 아이템을 추정한다. 회의 관리 서버(200)는 음성이 변환된 텍스트에서 특정 키워드를 스폿팅하여 액션 아이템과 관련된 문장을 판별하고, 판별된 문장을 기반으로 액션 아이템을 추정한다.In step S140, the conference management server 200 estimates the action item. The conference management server 200 determines a sentence related to an action item by spotting a specific keyword in the speech-converted text, and estimates the action item based on the determined sentence.

S150 단계에서, 회의 관리 서버(200)는 추정된 액션 아이템에 대한 정보가 포함된 회의록을 작성한다. 또한 회의 관리 서버(200)는 일정 관리 정보, 원본 회의록 및 요약 회의록(540) 중 적어도 하나가 더 포함되도록 회의록을 작성할 수 있다.In step S150, the meeting management server 200 creates a meeting record including information on the estimated action item. In addition, the meeting management server 200 may create meeting minutes to further include at least one of the schedule management information, the original meeting minutes, and the summary meeting minutes 540 .

본 발명의 실시 예에 따른 방법은 컴퓨터 프로그램 명령어와 데이터를 저장하기에 적합한 컴퓨터로 판독 가능한 매체의 형태로 제공될 수도 있다. 이러한, 컴퓨터가 읽을 수 있는 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있으며, 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media) 및 롬(ROM, Read Only Memory), 램(RAM, Random Access Memory), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.The method according to an embodiment of the present invention may be provided in the form of a computer-readable medium suitable for storing computer program instructions and data. Such a computer-readable recording medium may include program instructions, data files, data structures, etc. alone or in combination, and includes all types of recording devices in which data readable by a computer system is stored. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, compact disk read only memory (CD-ROM), and optical recording media such as DVD (Digital Video Disk). Stores program instructions such as Magneto-Optical Media, ROM (Read Only Memory), RAM (Random Access Memory), Flash memory, etc. and hardware devices specially configured to perform In addition, the computer-readable recording medium is distributed in a computer system connected through a network, so that the computer-readable code can be stored and executed in a distributed manner. In addition, functional programs, codes, and code segments for implementing the present invention can be easily inferred by programmers in the technical field to which the present invention pertains.

이상으로 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시예와 관련하여 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것은 아니며, 기술적 사상의 범주를 이탈함없이 본 발명에 대해 다수의 변경 및 수정이 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서 그러한 모든 적절한 변경 및 수정과 균등물들도 본 발명의 범위에 속하는 것으로 간주되어야 할 것이다. Although the above has been described and illustrated in relation to the preferred embodiment for illustrating the technical idea of the present invention, the present invention is not limited to the configuration and operation as shown and described as such, and without departing from the scope of the technical idea. It will be apparent to those skilled in the art that many changes and modifications to the present invention are possible. Accordingly, all such suitable alterations and modifications and equivalents are to be considered as being within the scope of the present invention.

100: 음성 수집 장치
110: 장치 통신부
120: 음성 수집부
130: 장치 제어부
140: 장치 출력부
150: 장치 저장부
200: 회의 관리 서버
210: 서버 통신부
220: 서버 제어부
221: 음성 인식부
223: 전처리부
225: 액션 아이템 추정부
227: 회의록 작성부
230: 서버 저장부
300: 사용자 단말
400: 회의 관리 시스템
450: 통신망100: voice collection device
110: device communication unit
120: voice collection unit
130: device control
140: device output unit
150: device storage
200: conference management server
210: server communication unit
220: server control unit
221: voice recognition unit
223: preprocessor
225: Action Item Estimator
227: meeting minutes
230: server storage
300: user terminal
400: conference management system
450: communication network

Claims (8)

복수의 사용자가 참여한 회의 중에 발화되는 음성을 수집하여 음성정보를 생성하는 음성 수집 장치;
상기 음성정보를 이용하여 회의가 완료된 후에 수행되어야 하는 액션 아이템(action item)을 추정하고, 상기 추정된 액션 아이템을 이용하여 회의록을 작성하는 회의 관리 서버; 및
상기 작성된 회의록에 대한 정보를 수신하고, 상기 수신된 정보를 출력하는 복수의 사용자 단말;을 포함하되,
상기 회의 관리 서버는,
상기 음성 수집 장치 및 상기 복수의 사용자 단말과 통신을 하는 서버 통신부; 및
상기 음성 수집 장치로부터 수신된 음성정보에 포함된 음성을 인식하고, 상기 인식된 음성을 전처리한 후, 상기 액션 아이템을 사용자별로 추정하며, 상기 추정된 액션 아이템에 대한 정보가 포함된 회의록을 작성하는 서버 제어부;를 포함하고,
상기 서버 제어부는,
상기 인식된 음성을 텍스트화하고, 상기 음성이 변환된 텍스트에서 특정 키워드를 스폿팅(spotting)하여 상기 액션 아이템과 관련된 문장을 판별하며, 상기 판별된 문장을 분해하고, 상기 분해된 문장에서 상기 액션 아이템의 내용, 상기 액션 아이템을 수행해야 하는 사용자, 수행 완료일 및 우선순위로 구분하여 데이터화하며,
상기 분해된 문장에서 사용자의 이름이 일부, 직급, 애칭 및 호칭을 포함한 명칭으로 작성된 경우, 상기 명칭을 해당 사용자의 전체 이름으로 변환하여 데이터화하고,
상기 수신된 음성정보에 포함된 주파수 대역, 음성 크기, 악센트 및 뉘앙스 중 적어도 하나를 기 저장된 사용자 정보와 비교하여 음성을 발화하는 사용자를 판별한 후, 판별된 사용자 및 발화 시점을 액션 아이템에 매칭시켜 상기 액션 아이템을 요청한 사용자와 시점을 데이터화하며,
상기 인식된 음성 중 기 설정된 시간동안 발화가 없는 구간이 존재하면 해당 구간을 문단으로 판단하고, 각 문단별로 기 설정된 횟수 이상 반복되는 주요 단어를 추출하며, 상기 추출된 주요 단어를 이용하여 요약서를 생성하고,
상기 데이터화된 정보 및 상기 요약서를 기반으로 일정 관리 정보, 원본 회의록 및 요약 회의록 중 적어도 하나를 포함하는 회의록을 생성하며,
상기 복수의 사용자 단말 중 액션 아이템을 수행해야 하는 사용자의 사용자 단말에게만 해당 액션 아이템이 포함된 회의록을 전송시키는 것을 특징으로 하는 음성인식을 이용한 회의 관리 시스템.a voice collecting device for generating voice information by collecting voices uttered during a meeting in which a plurality of users participate;
a conference management server for estimating an action item to be performed after the conference is completed by using the voice information, and creating minutes by using the estimated action item; and
A plurality of user terminals for receiving information on the prepared meeting minutes and outputting the received information; including,
The conference management server,
a server communication unit communicating with the voice collection device and the plurality of user terminals; and
Recognizing a voice included in the voice information received from the voice collecting device, pre-processing the recognized voice, estimating the action item for each user, and creating a meeting record including information on the estimated action item server control unit; including;
The server control unit,
The recognized voice is converted into text, and a sentence related to the action item is determined by spotting a specific keyword in the text in which the voice is converted, the determined sentence is decomposed, and the action is performed in the decomposed sentence. Data is divided into the content of the item, the user who needs to perform the action item, the date of completion and priority, and
If the user's name in the decomposed sentence is written as a name including a part, position, nickname, and title, the name is converted into the user's full name and converted into data,
After determining the user speaking the voice by comparing at least one of the frequency band, voice volume, accent, and nuance included in the received voice information with pre-stored user information, the determined user and the utterance time are matched to the action item. Dataizes the user and time point who requested the action item,
If there is a section without utterance for a preset time among the recognized voices, the section is determined as a paragraph, key words that are repeated more than a preset number of times for each paragraph are extracted, and a summary is generated using the extracted key words and,
generating meeting minutes including at least one of schedule management information, original meeting minutes, and summary meeting minutes based on the dataized information and the summary;
A meeting management system using voice recognition, characterized in that the meeting minutes including the corresponding action item are transmitted only to the user terminal of the user who needs to perform the action item among the plurality of user terminals. 삭제delete 삭제delete 삭제delete 삭제delete 제 1항에 있어서,
상기 서버 제어부는,
상기 추정된 액션 아이템의 선후 관계를 산출하고, 상기 산출된 선후 관계를 이용하여 상기 액션 아이템에 대한 퍼트차트(pert chart)를 생성하며, 상기 생성된 퍼트차트를 이용하여 상기 회의록을 작성하는 것을 특징으로 하는 음성인식을 이용한 회의 관리 시스템.The method of claim 1,
The server control unit,
calculating the precedence relation of the estimated action item, generating a pert chart for the action item using the calculated precedence relation, and creating the meeting minutes using the generated putt chart A conference management system using voice recognition. 삭제delete 제 1항에 있어서,
상기 사용자 단말은,
상기 출력된 정보 중 어느 하나의 액션 아이템이 선택되면 해당 액션 아이템과 관련된 음성정보를 출력하는 것을 특징으로 하는 음성인식을 이용한 회의 관리 시스템.
The method of claim 1,
The user terminal is
A conference management system using voice recognition, characterized in that when any one action item is selected from among the output information, voice information related to the corresponding action item is output.
KR1020210112110A 2021-08-25 2021-08-25 Meeting management system using automatic speech recognition(ASR) KR102365611B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210112110A KR102365611B1 (en) 2021-08-25 2021-08-25 Meeting management system using automatic speech recognition(ASR)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210112110A KR102365611B1 (en) 2021-08-25 2021-08-25 Meeting management system using automatic speech recognition(ASR)

Publications (1)

Publication Number Publication Date
KR102365611B1 true KR102365611B1 (en) 2022-02-23

Family

ID=80495534

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210112110A KR102365611B1 (en) 2021-08-25 2021-08-25 Meeting management system using automatic speech recognition(ASR)

Country Status (1)

Country Link
KR (1) KR102365611B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140077514A (en) 2012-12-14 2014-06-24 박종봉 Conference records managing apparatus
JP2017085444A (en) * 2015-10-30 2017-05-18 株式会社日立システムズ Meeting support device, meeting support method and program
JP2019192092A (en) * 2018-04-27 2019-10-31 株式会社東芝 Conference support device, conference support system, conference support method, and program
KR102287431B1 (en) * 2020-10-07 2021-08-09 주식회사 셀바스에이아이 Apparatus for recording meeting and meeting recording system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140077514A (en) 2012-12-14 2014-06-24 박종봉 Conference records managing apparatus
JP2017085444A (en) * 2015-10-30 2017-05-18 株式会社日立システムズ Meeting support device, meeting support method and program
JP2019192092A (en) * 2018-04-27 2019-10-31 株式会社東芝 Conference support device, conference support system, conference support method, and program
KR102287431B1 (en) * 2020-10-07 2021-08-09 주식회사 셀바스에이아이 Apparatus for recording meeting and meeting recording system

Similar Documents

Publication Publication Date Title
KR102381214B1 (en) Man-machine dialogue method, device and electronic equipment
US20200388272A1 (en) System and method of automated model adaptation
US10057419B2 (en) Intelligent call screening
US9653069B2 (en) System and method for personalization of acoustic models for automatic speech recognition
EP2609588B1 (en) Speech recognition using language modelling
CN107818798A (en) Customer service quality evaluating method, device, equipment and storage medium
WO2021051506A1 (en) Voice interaction method and apparatus, computer device and storage medium
KR102451034B1 (en) Speaker diarization
US20210056950A1 (en) Presenting electronic communications in narrative form
CN109840052B (en) Audio processing method and device, electronic equipment and storage medium
US20130246064A1 (en) System and method for real-time speaker segmentation of audio interactions
CN111105782A (en) Session interaction processing method and device, computer equipment and storage medium
CN112860877B (en) Customer service operation processing method and device, electronic equipment and storage medium
CN104766608A (en) Voice control method and voice control device
US20210343269A1 (en) Text-to-speech audio segment retrieval
KR20110099434A (en) Method and apparatus to improve dialog system based on study
CN103856602A (en) System and method for duplicating call
CN111462726B (en) Method, device, equipment and medium for answering out call
CN103514882A (en) Voice identification method and system
CN111339282A (en) Intelligent online response method and intelligent customer service system
KR102365611B1 (en) Meeting management system using automatic speech recognition(ASR)
CN110740212B (en) Call answering method and device based on intelligent voice technology and electronic equipment
WO2015019662A1 (en) Analysis subject determination device and analysis subject determination method
CN112102807A (en) Speech synthesis method, apparatus, computer device and storage medium
CN116016779A (en) Voice call translation assisting method, system, computer equipment and storage medium

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant