KR102061291B1 - 5g 통신 기반 스마트 회의 시스템 및 로보틱 처리 자동화를 통한 회의 지원 방법 - Google Patents

Abstract

본 발명은 5G 통신 기반 스마트 회의 시스템 및 로보틱 처리 자동화를 통한 회의 지원 방법에 관한 것으로, 좀 더 구체적으로는 5G 기반의 사물인터넷 기술과 AI 솔루션 기술과 자동회의록 작성 기술 및 회의 상황 분석 기술 등을 통해 회의 참여자들이 편리하고 효율적인 회의 진행을 할 수 있도록 한 5G 통신 기반 스마트 회의 시스템 및 로보틱 처리 자동화를 통한 회의 지원 방법에 관한 것으로, 텍스트의 패턴데이터를 저장하는 음성모델DB; 참여자의 기준 성량데이터를 저장하는 참여자정보DB; 수신된 음향신호를 패턴데이터로 변환하고, 상기 패턴데이터에 해당하는 텍스트를 음성모델DB에서 검색하여 텍스트 정보를 생성하는 음성인식모듈; 상기 음향신호의 성량을 분석해서 수집 성량데이터로 변환하고, 상기 수집 성량데이터의 감성 카테고리 정보를 확인하는 성량인식모듈; 상기 수집 성량데이터에 상응하는 기준 성량데이터를 참여자정보DB에서 검색하여 참여자를 식별하는 참여자 인식모듈; 상기 텍스트 정보와 감성 카테고리 정보를 참여자별로 분류해서 발언정보를 생성하는 발언정보 인식모듈;을 구비한 음성분석장치를 포함한다.

Description

5G 통신 기반 스마트 회의 시스템 및 로보틱 처리 자동화를 통한 회의 지원 방법{SMART CONFERENCING SYSTEM BASED ON 5G COMMUNICATION AND CONFERENCE SURPPORTING METHOD BY ROBOTIC AND AUTOMATIC PROCESSING}

본 발명은 5G 통신 기반 스마트 회의 시스템 및 로보틱 처리 자동화를 통한 회의 지원 방법에 관한 것으로, 좀 더 구체적으로는 5G 기반의 사물인터넷 기술과 AI 솔루션 기술과 자동회의록 작성 기술 및 회의 상황 분석 기술 등을 통해 회의 참여자들이 편리하고 효율적인 회의 진행을 할 수 있도록 한 5G 통신 기반 스마트 회의 시스템 및 로보틱 처리 자동화를 통한 회의 지원 방법에 관한 것이다.

최근 화상 회의 시스템이 보급되면서, 회의 내용을 영상으로 기록할 수 있게 되었고, 기록된 내용을 편집하여 영상, 음성 및 텍스트가 포함된 멀티미디어 회의록을 생성할 수 있게 되었다.

종래 화상 회의 시스템을 통한 회의록 생성 과정을 보면, 회의 시작부터 종료까지의 영상 및 음성을 각각 녹화, 녹음하여 회의록 생성에 필요한 자료를 수집하고, 수집된 데이터를 각각 종류별로 저장했다. 그리고 저장된 데이터는 시간을 기준으로 취합하며, 취합된 데이터를 데이터 편집 유저 인터페이스를 통해 브라우징 했다. 여기서, 상기 데이터 편집 유저 인터페이스는 발언 내용, 키워드 등을 편집할 수 있도록 되어 있었다. 이렇게 시계열적으로 취합된 데이터가 데이터 편집 유저 인터페이스를 통해 브라우징되면, 사용자는 데이터를 편집하여 키워드 리스트, 이벤트 리스트, 중요도 리스트 등을 생성함으로써, 회의록을 생성했다.

그러나 종래 화상 회의 시스템을 통한 회의록 생성은 다수의 참여자가 발언한 내용을 참여자별로 구분해서 기록하는데는 한계가 있었다. 더욱이, 종래 기술은 회의 상황에 대한 모든 기록이 아닌 단순한 발언 내용만을 기록하는데 불과하므로, 회의의 전체적인 분위기가 어떠했는지, 참여자의 감성 및 기타 주된 관심 주제가 어떠했고 그 상황에서 주요한 화제가 어떠한 방향으로 흐를지 등을 예측할 수 있거나 파악할 수 없었다. 따라서 종래 화상 회의 시스템은 회의의 미참여자가 회의 내용을 이해하기 위해서 회의를 촬영한 동영상을 돌려 파악할 수밖에 없었다. 더욱이 상기 미참여자가 직접 후속 회의의 주된 관심 주제 등을 판단해서 관련 문서를 준비해야 하는 번거로움과 불편이 있었다.

이외에도 종래 화상 회의 시스템은 단순히 회의 사항을 실시간으로 영상 촬영하거나, 참여자들에게 마이크를 제공해서 확성 및 녹음시키는 기능 외에는 다른 지원 기능은 갖추고 있지 않으므로, 회의 내용을 일일이 기록하고 참여자가 직접 회의 내용에 대한 관련 정보를 검색해서 회의에 활용해야 하는 수고와 번거로움이 있었다.

선행기술문헌 1. 특허공개번호 제10-2007-0014873호(2007.02.01 공개)

선행기술문헌 2. 특허공개번호 제10-2006-0083501호(2006.07.21 공개)

이에 본 발명은 상기의 문제를 해소하기 위해 발명된 것으로, 회의 참여자들을 정확히 식별해서 발언 내용을 기록함은 물론 참여자별 발언감성과 발언량 및 발언속도까지 파악해서 기록에 반영하고, 이를 기반으로 해당 회의에서의 참여자별 주요 관심사항과 후속 회의에서의 활용 소재 등을 사전에 준비할 수 있도록 하는 5G 통신 기반 스마트 회의 시스템 및 로보틱 처리 자동화를 통한 회의 지원 방법의 제공을 해결하고자 하는 과제로 한다.

상기의 과제를 달성하기 위하여 본 발명은,

텍스트의 패턴데이터를 저장하는 음성모델DB;

참여자의 기준 성량데이터를 저장하는 참여자정보DB;

수신된 음향신호를 패턴데이터로 변환하고, 상기 패턴데이터에 해당하는 텍스트를 음성모델DB에서 검색하여 텍스트 정보를 생성하는 음성인식모듈;

상기 음향신호의 성량을 분석해서 수집 성량데이터로 변환하고, 상기 수집 성량데이터의 감성 카테고리 정보를 확인하는 성량인식모듈;

상기 수집 성량데이터에 상응하는 기준 성량데이터를 참여자정보DB에서 검색하여 참여자를 식별하는 참여자 인식모듈; 및

상기 텍스트 정보와 감성 카테고리 정보를 참여자별로 분류해서 발언정보를 생성하는 발언정보 인식모듈;

을 구비한 음성분석장치를 포함하는 로보틱 처리 자동화를 위한 회의 시스템이다.

상기의 본 발명은, 회의 참여자들을 정확히 식별해서 발언 내용을 기록함은 물론 참여자별 발언감성과 발언량 및 발언속도까지 파악해서 기록에 반영하고, 이를 기반으로 해당 회의에서의 참여자별 주요 관심사항과 후속 회의에서의 활용 소재 등을 사전에 준비할 수 있으며, 특히 주요 관심사항에 대해 비정형 텍스트 기반의 구체적인 토픽을 발견할 수 있는 효과가 있다.

도 1은 본 발명에 따른 회의 시스템이 적용된 회의실의 내부를 개략적으로 도시한 사시도이고,
도 2는 본 발명에 따른 회의 시스템의 일실시 예를 도시한 블록도이고,
도 3은 본 발명에 따른 회의 시스템에 구성된 음성분석장치의 구성유닛을 도시한 블록도이고,
도 4는 본 발명에 따른 회의 시스템을 기반으로 동작하는 회의지원 방법을 순차로 도시한 플로차트이고,
도 5는 본 발명에 따른 회의 시스템이 작성한 회의록의 일 예를 도시한 도면이고,
도 6은 본 발명에 따른 회의 시스템에 구성된 회의실 관리장치의 구성유닛을 도시한 블록도이고,
도 7은 본 발명에 따른 회의 시스템의 다른 실시 예를 도시한 블록도이다.

상술한 본 발명의 특징 및 효과는 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 분명해질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 출원에서 사용한 용어는 단지 특정한 실시 예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다.

이하, 본 발명을 구체적인 내용이 첨부된 도면에 의거하여 상세히 설명한다.

도 1은 본 발명에 따른 회의 시스템이 적용된 회의실의 내부를 개략적으로 도시한 사시도이고, 도 2는 본 발명에 따른 회의 시스템의 일실시 예를 도시한 블록도이다.

도 1과 도 2를 참조하면, 본 실시의 회의 시스템(10)은 다수의 참여자가 한 곳에 모여 함께 토론할 수 있도록 각종 장비가 설치된다. 또한 참여자 중 1 인 또는 다수 인이 직접 참석하지 못해도, 화상을 통해 다른 참여자와 마주하며 토론할 수 있도록 지원하는 장비가 더 설치될 수 있다.

본 실시의 회의 시스템(10)은, 참여자의 발언 내용을 수집해서 텍스트로 기록하는 음성분석장치(100)와, 참여자 또는 회의 내용에 대해서 음성분석장치(100)에서 확인한 발언정보에 대응하는 추가 정보를 인터넷 또는 이더넷(이하 '통신망') 통해 검색하는 검색장치(200)와, 상기 발언정보 및 검색정보를 출력하는 디스플레이(300)와, 음성분석장치(100)와 검색장치(200)와 디스플레이(300) 간에 데이터를 교환하며 연동하도록 제어하는 관제장치(400)를 포함한다. 또한 회의 시스템(10), 상기 발언정보 또는 검색정보를 참여자가 통용하는 텍스트로 번역해서 디스플레이(300)를 통해 출력시키는 번역장치(500)와, 참여자들의 회의 환경이 최적화 되도록 회의실 상태를 조절하는 회의실 관리장치(600) 중 선택된 하나 이상을 더 포함할 수 있다. 물론 관제장치(400)는 번역장치(500) 및 회의실 관리장치(600)가 앞서 음성분석장치(100)와 검색장치(200)와 디스플레이(300)에 데이터를 교환하며 연동하도록 제어한다.

음성분석장치(100)는, 음성데이터를 텍스트데이터로 변환하는 STT(Speech to Text) 기술을 활용한다. 또한, 통신망을 통해 다른 서버(20) 및 개인 단말기(30, 40)와 통신하면서, 필요한 데이터를 검색하거나 참여자 또는 관련자들과 통신할 수 있다. 특히 본 발명에 따른 회의 시스템은 5G(5th Generation Mobile Communication)를 기반으로 통신해 이루어지므로, 회의 내용에 대한 추가 정보가 실시간으로 검색 및 제공될 수 있다.

미설명된 도면부호인 '620', '640', 'C', 'T'의 설명은 해당 기술을 설명하면서 상세히 하겠다.

또한, 상기 장치들(100, 200, 300, 400, 500, 600)에 대한 보다 구체적인 설명은 이하에서 설명한다.

도 3은 본 발명에 따른 회의 시스템에 구성된 음성분석장치의 구성유닛을 도시한 블록도이다.

도 1 내지 도 3을 참조하면, 본 실시의 음성분석장치(100)는, 텍스트의 패턴데이터를 저장하는 음성모델DB(110); 참여자의 기준 성량데이터를 저장하는 참여자정보DB(120); 수신된 음향신호를 패턴데이터로 변환하고, 상기 패턴데이터에 해당하는 텍스트를 음성모델DB(110)에서 검색하여 텍스트 정보를 생성하는 음성인식모듈(130); 상기 음향신호의 성량을 분석해서 수집 성량데이터로 변환하고, 상기 수집 성량데이터의 감성 카테고리 정보를 확인하는 성량인식모듈(140); 상기 수집 성량데이터에 상응하는 기준 성량데이터를 참여자정보DB(120)에서 검색하여 참여자를 식별하는 참여자 인식모듈(150); 상기 텍스트 정보와 감성 카테고리 정보를 참여자별로 분류해서 발언정보를 생성하는 발언정보 인식모듈(160);을 포함한다.

음성모델DB(110)는 텍스트의 패턴데이터를 저장한다. 이를 좀 더 구체적으로 설명하면, 상기 패턴데이터는 텍스트의 음향신호의 기본 파형으로서, 일반적인 음성인식을 위한 음향모델 및 텍스트모델 등의 기준데이터이다. 음성인식 기술은 이미 공지의 기술이고, 텍스트의 패턴데이터는 사람의 표준 음성에 대한 텍스트별 파형의 학습 알고리즘인 딥러닝(Deep Learning)을 통해 지속적으로 개발된다.

참여자정보DB(120)는 참여자의 기준 성량데이터를 저장한다. 이를 좀 더 구체적으로 설명하면, 상기 기준 성량데이터는 회의에 참여한 이력이 있거나 앞으로 참여할 수 있는 참여자의 성량을 수집해서 표준화한 것이다. 본 실시에서 참여자의 성량 수집은 별도의 성량수집수단(미 도시함)이 참여자에게 지정된 텍스트를 발언하게 해서 해당 텍스트의 음향신호를 수신하며 이루어진다. 이렇게 상기 성량수집수단은 수신된 음향신호를 분석해서 파형과 주파수와 진폭과 데시벨과 파장 등의 정보를 파악하고, 이렇게 수집된 상기 정보를 데이터화해서 해당 참여자의 기준 성량데이터로 생성한다. 결국, 본 발명에 따른 회의 시스템은 가입된 회원들의 기준 성량데이터를 보관해서 회의 기록 생성에 활용한다.

음성인식모듈(130)은, 수신된 음향신호를 패턴데이터로 변환하고, 상기 패턴데이터에 해당하는 텍스트를 음성모델DB(110)에서 검색하여 텍스트 정보를 생성한다. 이를 좀 더 구체적으로 설명하면, 회의실에는 참여자의 음향신호를 효율적으로 수신할 수 있는 위치에 마이크(101)가 설치되며, 통상적으로 의자(C)에 앉은 참여자가 마주하는 테이블(T)에 설치된다. 음성인식모듈(130)는 마이크(101)가 수신한 다수의 음향신호 중에서 1차로 지정된 패턴 파형들을 유지하는 음향신호를 추출하고, 다른 음향신호는 필터링해서 제거한다. 여기서 상기 지정된 패턴 파형은 음성모델DB(110)에 저장된 텍스트의 패턴데이터의 파형이다. 그런데 실시간으로 수신되는 수많은 음향신호를 음성모델DB(110)에 저장된 수많은 패턴데이터와 일일이 비교하는 것은 프로세스에 부담을 줄 수 있다. 따라서 1차 필터링의 효율을 높이기 위해서 발언 과정 중에 참여자가 주로 반복하는 텍스트를 표준 텍스트로 지정해서, 상기 표준 텍스트의 파형을 패턴 파형으로 지정할 수 있다. 상기 1차 필터링을 통해 추출된 음향신호는 참여자들이 각자 발언한 텍스트의 음향신호이고, 음성인식모듈(130)은 잡소리에 해당하는 음향신호는 모두 제거한다.

계속해서, 음성인식모듈(130)은 상기 1차 필터링된 음향신호 중에서 상대적으로 고주파 범위의 음향신호만을 2차 필터링한다. 상기 1차 필터링을 통해 추출한 음향신호는 둘 이상 참여자가 동시에 발언해서 생성된 다수의 음향신호를 포함할 수 있다. 그런데 참여자는 발언을 위해서 자신에게 배정된 마이크(101)와 가장 근접해서 발언하므로, 다수의 음향신호 중에서도 해당 참여자의 음향신호를 가장 큰 소리로 수신한다. 따라서 음성인식모듈(130)은 음향신호들 중에서 가장 큰 주파수, 즉 상대적으로 고주파 범위의 음향신호만을 추출하고, 기타 음향신호는 모두 제거한다. 결국, 음성인식모듈(130)은 수많은 소음 속에서 다수의 참여자가 동시에 발언해도, 해당 참여자의 음향신호만을 추출할 수 있다. 참고로 마이크(101)는 전술한 바와 같이 참여자별로 배정될 수도 있고, 둘 이상의 참여자가 1 개의 마이크(101)를 공유하며 사용할 수도 있다. 그러나 두 경우 모두 1개의 마이크(101)는 각종 소음과 다수 참여자의 음향신호를 동시에 수신하고, 참여자는 자신의 발언을 위해서 마이크(101) 가까이에서 발언한다.

계속해서, 음성인식모듈(130)은 2차 필터링을 통해 추출된 음향신호를 분석해서 파형에 대한 패턴데이터를 생성한다. 음성인식모듈(130)은 음성모델DB(110)를 검색해서, 상기 패턴데이터에 상응하는 패턴데이터의 텍스트를 확인하고 텍스트 정보를 생성한다. 음성인식모듈(130)은 자연어 처리(Natural Language Processing, NLP) 기술을 기반으로 하는 STT(Speech to Text) 딥러닝 기술이 적용된다.

성량인식모듈(140)은, 상기 음향신호의 성량을 분석해서 수집 성량데이터로 변환하고, 상기 수집 성량데이터의 감성 카테고리 정보를 확인한다. 이를 좀 더 구체적으로 설명하면, 전술한 바와 같이 음향신호는 아날로그 파동이므로, 상기 음향신호는 파동의 파형과 주파수와 진폭과 데시벨과 파장 등의 정보를 포함한다. 그러므로 성량인식모듈(140)은 음성인식모듈(130)의 필터링을 위한 음향신호의 주파수를 확인하고, 상기 2차 필터링된 음향신호의 파형과 주파수와 진폭과 데시벨과 파장 등의 정보를 디저털로 변환해서 수집 성량데이터를 생성한다.

계속해서 성량인식모듈(140)은, 참여자 인식모듈(150)이 식별한 참여자의 기준 성량데이터를 상기 수집 성량데이터와 비교해서, 상기 수집 성량데이터에 상응하는 감성 카테고리 정보를 확인한다. 성량은 회의에서 참여자의 주도성 및 자신감을 나타내는 지표로 측정하고, 하기 문헌용어행렬에 가중치를 주어 반영한다. 한편, 상기 감성 카테고리 정보는, 해당 참여자의 기준 성량데이터를 지정 비율에 따라 분류한 것으로서, 수집 성량데이터 대비 기준 성량데이터가 일반 모드의 비율 범위에 속하면, 상기 수집 성량데이터를 발언할 당시의 참여자는 평상시의 감성임을 의미한다. 그런데, 수집 성량데이터 대비 기준 성량데이터가 부정 모드의 비율 범위에 속하면, 상기 수집 성량데이터를 발언할 당시의 참여자는 부정적이거나 흥분 상태의 감성임을 의미한다. 또한 수집 성량데이터 대비 기준 성량데이터가 긍정 모드의 비율 범위에 속하면, 상기 수집 성량데이터를 발언할 당시의 참여자는 긍정적이거나 관심 상태의 감성임을 의미한다. 이외에도 수집 성량데이터 대비 기준 성량데이터가 무기력 모드의 비율 범위에 속하면, 상기 수집 성량데이터를 발언할 당시의 참여자는 집중도가 낮거나 무력감 상태의 감성임을 의미한다.

본 실시 예에서, 상기 성량데이터는 음향신호의 데시벨과 주파수와 진폭 중 선택된 하나 이상을 구성하고, 상기 모드별 비율은 데시벨과 주파수와 진폭별로 구분해 설정될 수 있다. 참고로, 기준 성량데이터의 데시벨과 주파수와 진폭에 비해 수집 성량데이터의 데시벨과 주파수와 진폭이 지정 비율 이상이면, 참여자의 감성은 현재 부정 모드임 알 수 있다. 또한 기준 성량데이터의 데시벨과 주파수와 진폭에 비해 수집 성량데이터의 데시벨과 주파수와 진폭이 지정 비율 미만이면, 참여자의 감성은 현재 무기력 모드임 알 수 있다.

이외에도 본 실시의 성량인식모듈(140)은, 음향신호의 데시벨과 주파수와 진폭 중 선택된 하나 이상 이외에, 특정 참여자에 대한 음향신호의 시간당 수신 길이 즉, 해당 참여자의 발언량과 발언속도 등에 따라 감성 카테고리 정보를 확인할 수 있다. 일 예를 들어 설명하면, 전술한 데시벨과 주파수와 진폭 만을 통해 감성 카테고리를 1차 확인했어도, 동일 참여자의 음향신호의 수신 길이가 일정량 이상이면 발언 텍스트의 관련 분야에 참여자의 관심도가 높은 것으로 판단하고, 일정량 미만이면 참여자의 관심도가 낮은 것으로 판단한다.

결국, 성량인식모듈(140)은 참여자의 관심도를 확인하기 위해서, 해당 음향신호를 디지타이징한 수집 성량데이터의 음향신호 길이를 확인하는 기능을 더 포함할 수 있다.

전술한 감성 카테고리의 모드별 비율은 반복된 딥러닝 기법의 학습을 통해 참여자에 구분 없이 표준화할 수도 있다. 또한 전술한 감성 카테고리의 모드별 비율은 참여자의 감성 상태에 따라 성량데이터의 변화 비율을 딥러닝 기법의 학습을 통해서 개별화할 수도 있다. 또한 전술한 감성 카테고리의 모드별 비율은 성량데이터의 데시벨과 주파수와 진폭 중 선택된 하나 이상이 감성 상태에 따라 변화하는 비율을 각각 학습해서 설정할 수도 있다.

참여자 인식모듈(150)은 상기 수집 성량데이터에 상응하는 기준 성량데이터를 참여자정보DB(120)에서 검색하여 참여자를 식별한다. 이를 좀 더 구체적으로 설명하면, 성량인식모듈(140)이 변환 생성한 수집 성량데이터를 참여자정보DB(120)의 기준 성량데이터와 비교해서, 오차 범위 이내에 해당하는 기준 성량데이터의 참여자를 확인한다. 일반적으로 회의 초반에는 참여자들이 일상시의 성량으로 발언한다. 그러므로 참여자 인식모듈(150)은 수집 성량데이터를 이용해서 해당 참여자를 식별할 수 있다. 그런데 특별한 경우에는 참여자가 회의 초반부터 일상과는 다른 강한 음성 또는 낮은 음성으로 발언을 시작할 수 있다. 그러므로, 참여자 인식모듈(150)은 수집 성량데이터에 상응하는 기준 성량데이터를 참여자정보DB(120)에서 미검색하면, 상기 수집 성량데이터를 감성 카테고리의 모드별 비율로 변환해서 기준 성량데이터를 검색하고, 검색된 해당 기준 성량데이터의 참여자를 상기 수집 성량데이터의 발언자로 간주해 식별한다.

한편, 마이크(101)가 참여자별로 배정되고, 음성인식모듈(130)이 수신 및 필터링된 음향신호에 수신 마이크(101)별로 식별코드를 링크하면, 참여자 인식모듈(150)은 이후 수신되는 음향신호를 식별코드에 따라 식별해서 앞서 식별된 참여자의 음향신호로 인식한다.

그러나, 다수 참여자가 1개의 마이크(101)를 공유하는 경우에는, 해당 마이크(101)의 둘레를 따라 다수의 음파 인식센서(미 도시함)를 배치하고, 음성인식모듈(130)은 음향신호 수신 시 가장 고주파의 음파를 인식한 음파 인식센서를 확인해서 해당 음파 인식센서의 식별코드를 상기 음향신호에 링크한다. 따라서 참여자 인식모듈(150)은 이후 수신되는 음향신호를 식별코드에 따라 식별해서 앞서 식별된 참여자의 음향신호로 인식한다.

발언정보 인식모듈(160)은 상기 텍스트 정보와 감성 카테고리 정보를 참여자별로 분류해서 발언정보를 생성한다. 이를 좀 더 구체적으로 설명하면, 음성인식모듈(130)의 텍스트 정보와 성량인식모듈(140)의 감성 카테고리 정보와 참여자 인식모듈(150)의 참여자를 회의 시점부터 종점까지 시간 순으로 파악해서 발언정보로 하나의 셋(Set)으로 최종 생성한다. 발언정보 인식모듈(160)은 상기 발언정보를 프린팅 모듈(180)에 전달하고, 프린팅 모듈(180)은 수신된 발언정보를 참여자가 시각적으로 인식할 수 있도록 텍스트로 프린팅한다. 이렇게 프린팅된 발언정보는 디스플레이(300) 또는 프린터(미도시 함) 또는 저장매체(미도시 함)를 통해 출력(도 5 참조)되거나 저장된다. 또한 발언정보 인식모듈(160)은 상기 텍스트 정보와 감성 카테고리 정보를 참여자별로 분류한 상기 셋(Set)을 프린팅 모듈(180)에 실시간으로 전달해서, 상기 셋(Set) 단위의 문구가 디스플레이(300)를 통해 출력되도록 할 수 있다.

또한 발언정보 인식모듈(160)은, 상기 텍스트 정보를 분석해서 주요 키워드와 분야를 확인하고, 상기 텍스트 정보에 대한 해당 참여자의 감성 카테고리 정보를 확인해서, 상기 주요 키워드와 분야에 대한 참여자의 관심도를 파악한다. 이때, 상기 참여자의 발언량과 발언속도를 수집 성량데이터로부터 확인하여 관심도 파악에 적용할 수 있다. 본 기술은 텍스트만에 의한 관심사항의 토픽 검출 기술에 한정하지 않고, 참여자의 주요 관심사항에 대해 발언 상태와 발언량 및 발언속도 등의 비정형 텍스트를 기반으로도 해당 참여자의 구체적인 토픽을 발견해서 업무에 활용할 수 있게 한다. 이러한 텍스트 분석 기술은 Document Term Matrix 기술에 새로운 방식의 가중치인 발언감성과 발언량 및 발언속도 등을 반영한 것인데, 상기 가중치는 참여자가 발언하여 발생한 음향신호에 한정하지 않고 회의실 내부에 설치된 각종 IoT 센서 등을 통해서도 측정 및 수집되어서 활용될 수 있다.

이를 좀 더 구체적으로 설명하면, 발언정보 인식모듈(160)은 음성인식모듈(130)에서 일정량 이상의 텍스트 정보를 수신하고, 상기 텍스트 정보를 텍스트마이닝(Text Mining) 기법 등으로 분석해서 주요 키워드를 추출한다. 발언정보 인식모듈(160)은 이렇게 추출된 주요 키워드를 통해 상기 텍스트 정보의 분야를 판단한다. 또한 발언정보 인식모듈(160)은 해당 텍스트 정보에 대한 참여자의 감성 카테고리 정보를 확인해서, 해당 텍스트 정보의 관심도를 파악할 수 있다. 상기 관심도는 해당 텍스트 정보를 발언할 시의 감성 상태에 따라 결정되는데, 일 예를 들면 디지타이즈된 회의 참여자의 발언은 자연어 처리기법(Natural Language Processing)을 통해, [표 1]과 같은 문헌용어행렬(Document Term Matrix)로 텍스트별 발언 빈도수가 카운팅된다.

참여자	컴퓨터	전원	시계	매출	비용
참여자A	10	5	4	7	4
참여자B	2	1	5	8	9
참여자C	5	6	5	4	5

발언정보 인식모듈(160)은, [표 1]과 같이 카운팅된 텍스트를 감성어 사전에서 검색하고, 이를 기반으로 참여자의 감성 상태를 결정한다. 즉, 긍정 카테고리에 속하는 텍스트가 많을수록 발언정보 인식모듈(160)은 해당 참여자의 감성 상태를 '긍정'으로 결정하는 것이다.

또한, 발언정보 인식모듈(160)은, 참여자의 감성 상태와 동일한 감성 카테고리의 텍스트가 확인되면, 해당 감성 카테고리의 텍스트 카운팅에 가중치를 주어 텍스트의 횟수를 조정하고, 이를 통해 참여자의 감성 상태에 가중치가 부여된다. 따라서 다른 감성 카테고리의 텍스트가 일시적으로 증가했어도 발언정보 인식모듈(160)은 참여자의 감성 상태가 마치 급변한 것처럼 인식하지 않는다.

한편, 해당 텍스트 정보를 발언할 때에 참여자가 일반 모드의 감성 상태라면, 해당 참여자는 상기 텍스트 정보의 분야와 관련해서 관심도가 높지 않은 것으로 판단할 수 있다. 또한, 해당 텍스트 정보를 발언할 시에 참여자가 부정 모드의 감성 상태라면, 해당 참여자는 상기 텍스트 정보의 분야와 관련해서 관심도가 높으면서도 반대 입장인 것으로 판단할 수 있다. 또한, 텍스트 정보를 발언할 시에 참여자가 긍정 모드의 감성 상태라면, 해당 참여자는 상기 텍스트 정보의 분야와 관련해서 관심도가 높으면서도 긍정적인 입장인 것으로 판단할 수 있다. 또한, 텍스트 정보를 발언할 시에 참여자가 무기력 모드의 감성 상태라면, 해당 참여자는 상기 텍스트 정보의 분야와 관련해서 관심도가 낮으면서도 해당 회의의 전체적인 주제에 대해서도 무관심한 것으로 판단할 수 있다.

이외에도 전술한 바와 같이 수집 성량데이터의 음향신호 길이를 참고해서 해당 분야에 대한 참여자의 관심도를 판단할 수 있다. 발언정보 인식모듈(160)은 발언량 및 발언속도 등에 해당하는 음향신호 길이가 길수록 수집 성량데이터의 텍스트마이닝을 보다 정밀하게 진행하고, 해당 분야에 대한 토픽 분석을 좀 더 구체적으로 할 수 있다.

발언정보 인식모듈(160)은 참여자별 발언량과 발언시간을 연산해서 발언속도를 확인하고, 참여자별 발언량에 가중치를 부여한다. 결국, 참여자별 발언 텍스트의 카운팅 수는 부여된 가중치 만큼 증가하거나 감소한다.

또한, 발언정보 인식모듈(160)은 성량데이터에 따라 참여자별 발언 텍스트의 카운팅 수에 가중치를 주어서, 참여자의 텍스트별 텍스트별 발언 횟수를 조정한다.

발언정보 인식모듈(160)은, 상기 주요 키워드와 분야와 참여자의 관심도를 조합한 결과물을 딥러닝 학습을 통해 분석해서 상기 참여자의 관심분야에 해당하는 관련 토픽을 추론하며, 상기 참여자의 다음 발언 분야를 검색한다. 이를 좀 더 구체적으로 설명하면, 발언정보 인식모듈(160)은 참여자가 회의 중에 발언한 텍스트 정보의 주요 키워드와 분야와 관심도를 조합한 결과물은 물론, 이전 회의 중에서 수집된 결과물들을 딥러닝 학습으로 분석해서, 상기 참여자가 어떤 분야에 관심을 가지며 발언 내용은 어떻게 변해가는지를 파악하고, 이렇게 파악된 학습 내용을 통해 상기 참여자가 향후 발언할 키워드와 분야와 주제 등을 예측한다. 또한 발언정보 인식모듈(160)은 예측된 사항에 대한 각종 빅데이터를 검색장치(200)를 통해 검색하고, 그 결과물을 상기 참여자에게 추천한다. 발언정보 인식모듈(160)이 추천한 빅데이터는 회의 중에 이루어질 수 있고, 회의 중이 아닌 일상에도 상기 참여자의 이메일 또는 문자 등의 각종 통신 매체를 통해 이루어질 수 있다.

또한 발언정보 인식모듈(160)은, 전술한 가중치 부여를 통해서 참여자별로 분명한 감성 상태와 관심도 등을 파악할 수 있다. 이를 좀 더 구체적으로 설명하면, 발언정보 인식모듈(160)은, 전술한 문헌용어행렬 데이터를 기반으로 유사 내용들의 토픽을 발견(토픽모델링 기법)한다. 토픽모델링 기법은 Latent Semantic Indexing(LSI)와, Probabilistic Latent Semantic Indexing(PLSI)와, Latent Dirichlet Allocation(LDA) 등이 있으며, 본 실시의 발언정보 인식모듈(160)은 LDA 알고리즘으로 참여자의 토픽을 추론한다. 예를 들어 설명하면, 문서1과 문서2가 주제는 유사해도 각 문서에 등장하는 단어의 종류나 사용 빈도는 다를 수 있다. 따라서 단순한 키워드 모델만으로는 문서 간에 유사도를 계산하거나 주제를 분류하는데에도 한계가 있으므로, 문서1과 문서2가 동일/유사한 주제임을 인지할 수 없다.

발언정보 인식모듈(160)은, 참여자의 발언 텍스트에 대응한 토픽을 검색하기 위해서, 텍스트별 기초값(벡터값)인 α와 β를 찾고, 문서별 Θ를 계산하며, 상기 Θ를 활용하여 텍스트별 유사도 계산 및 분류 작업을 진행한다. 즉, 발언정보 인식모듈(160)은 단어 임베딩 기법을 기반으로 텍스트별 벡터값을 설정해서 두 단어 간에 유사도를 연산하는 것이다. 이를 위해서 발언정보 인식모듈(160)은 Word2Vec이나 GloVe, FastText 등과 같은 기법들이 적용된다. 따라서 발언정보 인식모듈(160)은 참여자의 발언 내용에 대응하는 토픽을 발견하고, 상기 토픽에 해당하는 관련 문헌을 검색해 제시한다. 참고로, 문서는 한 분야의 토픽에만 속하는 것이 아니라 다양한 분야에 속할 수 있으므로, 동일한 문서라도 참여자의 문헌용어행렬 데이터에 대응하는 분야의 토픽 관련 문서로 제시될 수 있다.

데이터 처리모듈(170)은, 음성인식모듈(130)과 성량인식모듈(140)과 참여자 인식모듈(150)과 발언정보 인식모듈(160)과 프린팅 모듈(180) 간에 데이터 통신을 중계하면서 설정 프로세스에 따라 상기 모듈들(130, 140, 150, 160, 180)의 동작을 제어한다. 데이터 처리모듈(170)은 일반적인 중앙처리장치(CPU)에 해당한다.

도 4는 본 발명에 따른 회의 시스템을 기반으로 동작하는 회의지원 방법을 순차로 도시한 플로차트이고, 도 5는 본 발명에 따른 회의 시스템이 작성한 회의록의 일 예를 도시한 도면이다.

도 1 내지 도 5를 참조해서 설명한다.

S10; 음향신호 수신 단계

마이크(101)는 회의 참여자의 발언으로 생성된 음향신호를 수신한다. 본 실시 예에서 마이크(101)는 회의실의 테이블(T)에 설치되어서 참여자별로 분배되도록 했다.

S20; 음향신호 필터링 단계

음성인식모듈(130)은 마이크(101)가 수신한 다수 음향신호의 파형을 확인하고, 확인된 상기 파형에 대응하는 패턴 파형을 음성모델DB(110)에서 검색한다. 검색 결과 상기 패턴 파형에 대응하는 파형의 음향신호를 확인하면, 해당 음향신호를 추출하고 다른 음향신호는 필터링해서 제거한다.

상기 필터링을 완료하면, 음성인식모듈(130)은 다수의 음향신호 중에서 가장 큰 주파수, 즉 상대적으로 고주파 범위의 음향신호만을 추출하고, 기타 음향신호는 모두 제거한다.

S30; 텍스트 정보 생성 단계

음성인식모듈(130)은 음향신호 필터링 단계(S20)에서 최종 추출된 음향신호를 분석해서 파형에 대한 패턴데이터를 생성한다. 또한, 음성인식모듈(130)은 음성모델DB(110)를 검색해서, 상기 패턴데이터에 상응하는 패턴데이터의 텍스트를 확인해서, 음향신호별 해당하는 텍스트를 확인한다. 음성인식모듈(130)은 이렇게 확인된 텍스트를 조합해서 텍스트 정보로 최종 생성한다.

S40; 수집 성량데이터 변환 단계

성량인식모듈(140)은 음향신호 필터링 단계(S20)에서 최종 추출된 음향신호를 분석해서 수집 성량데이터로 변환한다.

상기 음향신호는 파동의 파형과 주파수와 진폭과 데시벨과 파장 등의 정보를 포함하므로, 성량인식모듈(140)은 상기 정보를 조합해서 수집 성량데이터를 생성한다.

S50; 참여자 인식 단계

참여자 인식모듈(150)은 상기 수집 성량데이터에 상응하는 기준 성량데이터를 참여자정보DB(120)에서 검색하여, 해당 음향신호를 발언한 참여자를 인식한다.

상기 기준 성량데이터는 전술한 바 있으므로, 여기서는 그 설명을 생략한다.

S60; 감성 카테고리 정보 확인 단계

성량인식모듈(140)은, 참여자 인식 단계(S50)에서 확인된 참여자의 기준 성량데이터를 상기 수집 성량데이터와 비교해서, 상기 수집 성량데이터에 상응하는 감성 카테고리 정보를 확인한다.

상기 감성 카테고리 정보는, 해당 참여자의 기준 성량데이터를 지정 비율에 따라 분류한 것으로서, 수집 성량데이터 대비 기준 성량데이터가 일반 모드의 비율 범위에 속하면, 상기 수집 성량데이터를 발언할 당시의 참여자는 평상시의 감성임을 의미한다. 그런데, 수집 성량데이터 대비 기준 성량데이터가 부정 모드의 비율 범위에 속하면, 상기 수집 성량데이터를 발언할 당시의 참여자는 부정적이거나 흥분 상태의 감성임을 의미한다. 또한 수집 성량데이터 대비 기준 성량데이터가 긍정 모드의 비율 범위에 속하면, 상기 수집 성량데이터를 발언할 당시의 참여자는 긍정적이거나 관심 상태의 감성임을 의미한다. 이외에도 수집 성량데이터 대비 기준 성량데이터가 무기력 모드의 비율 범위에 속하면, 상기 수집 성량데이터를 발언할 당시의 참여자는 집중도가 낮거나 무력감 상태의 감성임을 의미한다.

S70; 발언정보 생성 단계

발언정보 인식모듈(160)은 상기 텍스트 정보와 감성 카테고리 정보를 참여자별로 분류해서 발언정보를 생성한다. 이를 좀 더 구체적으로 설명하면, 음성인식모듈(130)의 텍스트 정보와 성량인식모듈(140)의 감성 카테고리 정보와 참여자 인식모듈(150)의 참여자를 하나의 셋(Set)으로 분류해서 회의 시점부터 종점까지 시간 순으로 수집해서 발언정보로 최종 생성한다. 발언정보 인식모듈(160)은 상기 발언정보를 프린팅 모듈(180)에 전달하고, 프린팅 모듈(180)은 수신된 발언정보를 참여자가 시각적으로 인식할 수 있도록 텍스트로 프린팅한다. 이렇게 프린팅된 발언정보는 디스플레이(300) 또는 프린터(미도시 함) 또는 저장매체(미도시 함)를 통해 도 5와 같이 출력되거나 저장된다. 또한 발언정보 인식모듈(160)은 상기 텍스트 정보와 감성 카테고리 정보를 참여자별로 분류한 상기 셋(Set)을 프린팅 모듈(180)에 실시간으로 전달해서, 상기 셋(Set) 단위의 문구가 디스플레이(300)를 통해 출력되도록 할 수 있다.

도 6은 본 발명에 따른 회의 시스템에 구성된 회의실 관리장치의 구성유닛을 도시한 블록도이다.

도 2와 도 6을 참조하면, 회의실 관리장치(600)는, 회의실을 촬영하는 카메라(620)와, 카메라(620)의 촬영영상을 비교 분석해서 회의실의 변화 여부를 확인하는 영상분석모듈(630)과, RGB 컬러를 발현하는 투명전광유리 형태의 스마트글라스(640)와, 회의실의 실내 환경을 센싱하는 환경상태 확인모듈(650)과, 회의실에 구비된 의자(C)에 설치되어서 착석한 참여자의 자세를 인식하는 체어센서(660)와, 의자(C)의 진동을 가하는 바이브레이터(670)와, 회의 일정과 참여자 등의 일정을 관리하는 스케쥴 관리모듈(680)을 포함한다.

각 구성에 대해 좀 더 구체적으로 설명하면, 영상분석모듈(630)은 카메라(620)에서 촬영된 영상을 동영상 파일로 저장한다. 또한, 상기 동영상을 시간 순으로 비교해서 참여자의 행동 패턴과 기타 상태 등을 파악하고, 테이블(T)에 놓인 각종 물품을 확인해서 회의 종료 후에도 잔존하는 물품의 유무를 확인한다.

스마트글라스(340)는 회의실을 구획한 벽면체를 구성해서, 회의 시점에는 불투명하게 변색하고, 회의 종료 시에는 다시 투명하게 변색한다. 참고로, 회의 종료 후 영상분석모듈(630)에서 확인된 물품이 잔존하는 것으로 확인되면, 스마트글라스(340)는 불투명상태를 유지시킨다. 따라서 회의 참여자는 확실한 회의 종료를 위해 주의를 환기하게 된다.

환경상태 확인모듈(650)은, 회의실의 공기 상태, 조도, 온습도, 미세먼지 등의 환경상태를 감지한다. 따라서 환경 개선을 위해서 환풍기, 공기청정기, 가습기 등의 기기를 제어할 수 있도록 한다.

체어센서(660)는 의자(C)에 설치되어서 참여자의 착석 여부를 체크하고, 참여자의 자세 등을 스캐닝해서 현재 참여자의 상태를 추정할 수 있게 한다. 일 예를 들어 설명하면, 의자(C)의 착석면에 압력계 등을 설치해서, 참여자의 착석 상태가 편중되었는지 여부를 판단한다. 따라서 체어센서(660)가 편중 상태임을 확인하면, 해당 참여자는 바른 자세가 아닌 것이므로, 이를 인식해서 경고 등을 할 수 있다.

바이브레이터(670)는 의자(C)에 설치되어서 참여자의 상태 등에 따라 진동을 가한다. 따라서 착석한 참여자는 무기력감에서 탈피해서 회의에 집중할 수 있다.

스케쥴 관리모듈(680)은 회의실을 사용할 참여자들의 명단과 시간 및 기타 회의 일정 등을 관리하고, 디스플레이(300)를 통해 출력할 수 있다.

도 7은 본 발명에 따른 회의 시스템의 다른 실시 예를 도시한 블록도이다.

본 발명에 따른 회의 시스템(10)은, 회원정보와, 회원별 관심분야와 관심도에 대한 관심정보를 저장하는 관심정보 저장장치(700); 발언정보 인식모듈(160)에서 파악한 해당 참여자의 관심분야의 관심도가 높은 회원정보를 관심정보 저장장치에서 검색해서 디스플레이(300)를 통해 출력되도록 하는 검색장치(200);를 더 포함한다.

관심정보 저장장치(700)는, 현재 등록된 회원의 개인정보를 회원정보로 저장하고, 회의 과정에서 확인된 회원의 관심분야와 관심도를 저장한다. 따라서 회원별로 관심분야가 무엇인지, 그리고 관심분야의 관심도가 어떠한지를 저장해 관리할 수 있다.

전술한 바와 같이 발언정보 인식모듈(160)은 참여자의 발언정보를 기반으로 참여자의 관심분야와 관심도를 파악할 수 있으므로, 검색장치(200)는 해당 참여자의 관심분야와 관심도를 확인해서 동일한 분야에 관심을 갖는 다른 회원을 검색하고 추천한다. 따라서 참여자는 추전된 다른 회원과 만나 회의를 진행할 수 있고, 이를 통해서 해당 분야에 대해 좀 더 발전된 결과물을 개발할 수 있다.

앞서 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시 예들을 참조해 설명했지만, 해당 기술분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술될 특허청구범위에 기재된 본 발명의 사상 및 기술영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (9)

1. 텍스트의 패턴데이터를 저장하는 음성모델DB; 참여자의 기준 성량데이터를 저장하는 참여자정보DB; 수신된 음향신호를 패턴데이터로 변환하고, 상기 패턴데이터에 해당하는 텍스트를 음성모델DB에서 검색하여 텍스트 정보를 생성하는 음성인식모듈; 상기 음향신호의 성량을 분석해서 수집 성량데이터로 변환하고, 상기 수집 성량데이터의 감성 카테고리 정보를 확인하는 성량인식모듈; 상기 수집 성량데이터에 상응하는 기준 성량데이터를 참여자정보DB에서 검색하여 참여자를 식별하는 참여자 인식모듈; 상기 텍스트 정보와 감성 카테고리 정보를 참여자별로 분류해서 발언정보를 생성하는 발언정보 인식모듈;을 구비한 음성분석장치를 포함하는 로보틱 처리 자동화를 위한 회의 시스템에 있어서,
   상기 음성인식모듈은, 마이크에 수신된 다수의 음향신호 중에서 지정된 패턴 파형들을 유지하는 음향신호가 검출되도록 1차 필터링하고, 상기 1차 필터링된 음향신호 중에서 상대적으로 고주파 범위의 음향신호가 검출되도록 2차 필터링하여 패턴데이터로 변환하고;
   상기 참여자 인식모듈은, 상기 수집 성량데이터에 상응하는 기준 성량데이터가 참여자정보DB에서 미검색되면, 상기 수집 성량데이터를 참여자별 감성 카테고리의 모드별 비율로 변환해서 기준 성량데이터로 확인하고 참여자를 인식하는 것;
   을 특징으로 하는 로보틱 처리 자동화를 위한 회의 시스템.
2. 삭제
3. 제 1 항에 있어서,
   상기 감성 카테고리 정보는, 해당 참여자의 기준 성량데이터를 지정 비율에 따라 분류한 것이고;
   상기 성량인식모듈은, 상기 2차 필터링된 음향신호를 수집 성량데이터로 연산해서 해당 참여자의 기준 성량데이터와 비교해 확인하는 것;
   을 특징으로 하는 로보틱 처리 자동화를 위한 회의 시스템.
4. 제 3 항에 있어서,
   상기 기준 성량데이터는, 음향신호의 데시벨과 주파수와 진폭 중 선택된 하나 이상을 구성하는 것;
   을 특징으로 하는 로보틱 처리 자동화를 위한 회의 시스템.
5. 제 1 항에 있어서, 상기 발언정보 인식모듈은,
   상기 텍스트 정보를 분석해서 주요 키워드와 분야를 확인하고, 상기 텍스트 정보에 대한 해당 참여자의 감성 카테고리 정보를 확인해서 상기 주요 키워드와 분야에 대한 상기 참여자의 관심도를 파악하되, 상기 텍스트 정보의 텍스트가 속하는 감성 카테고리 정보를 확인하고 텍스트를 감성 카테고리별로 카운팅해서 해당 참여자의 감성 상태를 확인해서 참여자의 감성 상태에 따라 관심도를 파악하며, 확인된 감성 상태와 동일한 감성 상태의 텍스트가 확인되면 카운팅에 가중치를 부여하는 것;
   을 특징으로 하는 로보틱 처리 자동화를 위한 회의 시스템.
6. 제 5 항에 있어서,상기 발언정보 인식모듈은,
   상기 주요 키워드와 분야와 참여자의 관심도를 조합한 결과물을 딥러닝 학습을 통해 분석해서 상기 참여자의 관심분야를 추론하며, 상기 참여자의 발언 분야를 검색하는 것;
   을 특징으로 하는 로보틱 처리 자동화를 위한 회의 시스템.
7. 제 6 항에 있어서,
   회원정보와, 회원별 관심분야와 관심도에 대한 관심정보를 저장하는 관심정보 저장장치; 및
   상기 발언정보 인식모듈에서 파악한 해당 참여자의 관심분야의 관심도가 상대적으로 높은 회원정보를 관심정보 저장장치에서 검색해서 디스플레이를 통해 출력되도록 하는 검색장치;
   를 더 포함하는 것을 특징으로 하는 로보틱 처리 자동화를 위한 회의 시스템.
8. 삭제
9. 제 5 항에 있어서, 상기 발언정보 인식모듈은,
   상기 참여자의 감성 상태와, 상기 성량인식모듈이 확인한 참여자별 발언속도와, 상기 수집 성량데이터 중 선택된 하나 이상에 따라, 상기 참여자가 발언한 텍스트의 카운팅 횟수에 가중치를 부여하는 것;
   을 특징으로 하는 로보틱 처리 자동화를 위한 회의 시스템.

Images