KR20190029999A - 멀티 커넥션을 통한 회의록 생성 시스템 및 그 방법 - Google Patents

멀티 커넥션을 통한 회의록 생성 시스템 및 그 방법 Download PDF

Info

Publication number
KR20190029999A
KR20190029999A KR1020170117168A KR20170117168A KR20190029999A KR 20190029999 A KR20190029999 A KR 20190029999A KR 1020170117168 A KR1020170117168 A KR 1020170117168A KR 20170117168 A KR20170117168 A KR 20170117168A KR 20190029999 A KR20190029999 A KR 20190029999A
Authority
KR
South Korea
Prior art keywords
voice
transmitter
module
voice file
file
Prior art date
Application number
KR1020170117168A
Other languages
English (en)
Other versions
KR101981049B1 (ko
Inventor
백민호
Original Assignee
(주)에어사운드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)에어사운드 filed Critical (주)에어사운드
Priority to KR1020170117168A priority Critical patent/KR101981049B1/ko
Publication of KR20190029999A publication Critical patent/KR20190029999A/ko
Application granted granted Critical
Publication of KR101981049B1 publication Critical patent/KR101981049B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/155—Conference systems involving storage of or access to video conference sessions
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G10L15/265—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H04N5/23238—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Abstract

본 발명은 멀티 커넥션을 통한 회의록 생성 시스템 및 그 방법에 관한 것으로, 회의 참석자의 음성을 입력받는 마이크모듈과, 상기 음성을 식별자 신호(ID) 및 동기시간과 함께 수신기로 송신하는 송신기통신모듈을 포함하는 다수개의 송신기와, 상기 음성과 동기화된 영상을 촬영하는 카메라모듈과, 상기 송신기로부터 전송된 음성과 해당 식별자 신호(ID)와 동기시간 및 상기 영상을 저장하는 메모리모듈과, 상기 영상을 분석하여 회의 참석자 수를 파악하고 송신기별로 참석자를 매칭하다 영상분석모듈과, 상기 참석자가 매칭되고 해당 음성과 해당 식별자 신호(ID)와 동기시간이 포함된 송신기별 음성파일과 상기 송신기별 파일을 모두 합친 통합 음성파일을 생성한 후 계속하여 전송되는 해당 참석자의 음성을 상기 송신기별 음성파일과 통합 음성파일에 추가하는 음성파일 관리모듈 및 상기 메모리모듈의 저장내용을 서버로 전송하는 수신기 통신모듈을 포함하는 수신기 및 상기 수신기에서 전송되는 송신기별 음성파일과 통합 음성파일을 네트워크를 통해 전송받아 식별자 신호(ID)와 동기 시간별로 정렬한 후 음성을 STT(Speech To Text) 기능을 이용하여 문서파일로 변환하여 회의록을 작성하고 저장하는 서버를 포함하는 것을 특징으로 하는 멀티 커넥션을 통한 회의록 생성 시스템을 제공한다.

Description

멀티 커넥션을 통한 회의록 생성 시스템 및 그 방법{System for generating documents of minutes by using multi-connection and the method thereof}
본 발명은 멀티 커넥션을 통한 회의록 생성 시스템 및 그 방법에 관한 것으로, 더욱 상세하게는 다수의 참석자가 참여하는 회의에서 다수개의 송신기를 통해 회의 착석자의 음성을 입력 받아 수신기로 전송하면 수신기는 카메라 촬영 영상을 분석하여 참석자와 송신기를 매칭한 후에 송신기별로 전송된 음성을 개별적인 송신기별 음성파일과 통합 음성파일로 만들어 서버로 전송하고 서버는 상기 음성파일을 송신기 식별자, 동기 시간별로 정렬하고 문서화하는 멀티 커넥션을 통한 회의록 생성 시스템 및 그 방법에 관한 것이다.
일반적으로 각종 의회, 법원, 기업체 등의 각종 회의에서 발언되는 내용들은 정해진 형식에 따라 수기 또는 워드 프로세서에 의해 작성되어 보관된다. 최근에 들어서는 위와 같이 작성된 회의록들을 전산화하고 데이터베이스로 구축하여 인터넷이나 내부 인트라넷 등을 통해 활용하는 예가 많아지고 있다. 이와 같이 함으로써 회의록이 필요한 사람이 인터넷을 통해 회의록을 쉽게 검색할 수 있고 해당 내용을 쉽게 검색할 수 있게 되었다.
하지만, 회의에서 발언되는 음성을 사람이 직접 수기 또는 워드프로세서로 작성하고 이를 바탕으로 텍스트 파일로 회의록을 정리하는 것은 상당한 수고가 필요할 뿐만 아니라 회의 참석자 여러 명이 동시에 발언할 때는 이를 정확하게 받아 적는 것은 매우 어렵다는 문제점이 있다.
더구나, 인터넷 또는 내부 인트라넷 등을 통해 효과적으로 회의록을 검색하거나 공유하기 위해서는 통일성 있는 형식으로 회의록 데이터를 생성하고 데이터베이스를 구축하여야 하는데, 위와 같이 사람이 회의록을 작성하게 되면 작성된 회의록은 사람마다 특색을 가지게 되어 통일성 있는 형식의 회의록 데이터를 생성하기가 힘들다는 문제점이 있다.
따라서 다수의 참석자가 참여하는 회의에서 참석자의 발언을 저장하고 저장된 음성파일을 자동으로 문서화하여 통일성 있고 검색하기 쉬운 형식의 회의록으로 변환할 수 있는 시스템이 필요하게 되었다.
관련 선행기술로는 한국공개특허 제10-2006-0061534호(공개일: 2006. 06. 08)가 있다.
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 다수의 참석자가 참여하는 회의에서 마이크가 내장된 다수개의 송신기를 구비하여 상기 송신기가 참석자의 음성을 입력 받아 수신기로 송신하고 수신기는 카메라 촬영 영상을 분석하여 송신기별로 참석자를 매칭하고 그에 따른 음성을 개별적인 송신기별 음성파일과 통합음성파일에 추가한 후에 상기 음성파일을 서버로 전송하면 서버는 송신기 식별자, 동기 시간별로 정렬하고 문서화하여 회의록을 작성하는 멀티 커넥션을 통한 회의록 생성 시스템 및 그 방법을 제공한다.
본 발명의 실시예들의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 달성하기 위한 본 발명의 멀티 커넥션을 통한 회의록 생성 시스템은, 회의 참석자의 음성을 입력받는 마이크모듈과, 상기 음성을 식별자 신호(ID) 및 동기시간과 함께 수신기로 송신하는 송신기통신모듈을 포함하는 다수개의 송신기와, 상기 음성과 동기화된 영상을 촬영하는 카메라모듈과, 상기 송신기로부터 전송된 음성과 해당 식별자 신호(ID)와 동기시간 및 상기 영상을 저장하는 메모리모듈과, 상기 영상을 분석하여 회의 참석자 수를 파악하고 송신기별로 참석자를 매칭 시키는 영상분석모듈과, 상기 참석자가 매칭되고 해당 음성과 해당 식별자 신호(ID)와 동기시간이 포함된 송신기별 음성파일과 상기 송신기별 파일을 모두 합친 통합 음성파일을 생성한 후 계속하여 전송되는 해당 참석자의 음성을 상기 송신기별 음성파일과 통합 음성파일에 추가하는 음성파일 관리모듈 및 상기 메모리모듈의 저장내용을 서버로 전송하는 수신기 통신모듈을 포함하는 수신기 및 상기 수신기에서 전송되는 송신기별 음성파일과 통합 음성파일을 네트워크를 통해 전송받아 식별자 신호(ID)와 동기 시간별로 정렬한 후 음성을 STT(Speech To Text) 기능을 이용하여 문서파일로 변환하여 회의록을 작성하고 저장하는 서버를 포함하는 것을 특징으로 할 수 있다.
구체적으로, 상기 카메라모듈은 360ㅀ 파노라마 영상 촬영을 할 수 있는 것을 특징으로 할 수 있다.
구체적으로, 상기 영상분석모듈은 상기 카메라모듈이 촬영한 360ㅀ 파노라마 영상을 상기 메모리모듈에 저장함과 동시에, 상기 360ㅀ 파노라마 영상을 회의 참석자별로 화면을 분할 한 후 상기 메모리모듈에 저장하는 것을 특징으로 할 수 있다.
구체적으로, 상기 영상분석모듈은 상기 360ㅀ 파노라마 영상과 분할 영상을 이용하여 안면인식을 통해 회의 참석자의 위치정보를 추출하여 상기 송신기별로 참석자를 매칭 시키는 것을 특징으로 할 수 있다.
구체적으로, 상기 송신기와 수신기는 통합될 수 있도록 하되, 상기 마이크모듈은 개수에 따라서 균등하게 영역을 분할되며 설치되도록 하는 것을 특징으로 할 수 있다.
구체적으로, 상기 마이크모듈은 지향성마이크이고 상기 음성파일 관리모듈은 마이크모듈별 음성파일을 생성하여 상기 메모리모듈에 저장하고 마이크모듈에서 전송되는 음성이 멈추면 해당 마이크모듈별 음성을 상기 마이크모듈별 음성파일에 저장함과 동시에 상기 마이크모듈별 파일을 모두 합친 통합 음성파일을 생성한 후 상기 메모리모듈에 저장하는 것을 특징으로 할 수 있다.
상기 과제를 달성하기 위한 본 발명의 멀티 커넥션을 통한 회의록 생성 방법은, 송신기가 회의 참석자의 음성을 입력 받아 식별자 신호(ID) 및 동기시간과 함께 수신기로 송신하는 음성입력단계와, 수신기가 송신기로부터 전송된 음성과 해당 식별자 신호(ID)와 동기시간 및 카메라모듈이 촬영한 영상을 메모리모듈에 저장한 후 상기 영상을 이용하여 상기 송신기별로 회의 참석자를 매칭 시킨 후 송신기별 음성파일과 상기 송신기별 파일을 모두 합친 통합 음성파일을 생성하여 서버에 전송하는 음성파일생성단계 및 서버가 상기 수신기에서 전송되는 송신기별 음성파일과 통합 음성파일을 네트워크를 통해 전송받아 식별자 신호(ID)와 동기 시간별로 정렬한 후 음성을 STT(Speech To Text) 기능을 이용하여 문서파일로 변환하여 회의록을 작성하고 저장하는 회의록생성단계를 포함할 수 있다.
구체적으로, 상기 음성파일생성단계는, 카메라모듈이 상기 음성과 동기화된 영상을 촬영하고 영상분석모듈이 상기 영상을 분석하여 회의 참석자 수를 파악하고 송신기별로 참석자를 매칭 시키는 제1 단계와, 송신기로부터 전송된 음성과 해당 식별자 신호(ID)와 동기시간을 메모리모듈에 저장하는 제2 단계와, 송신기별로 전송되는 음성을 체크하여 음성이 계속되면 다음 단계로 진행하고 그렇지 않으면 종료하는 제3 단계와, 송신기별로 전송되는 음성을 참석자가 매칭되고 해당 음성과 해당 식별자 신호(ID)와 동기시간이 포함된 송신기별 음성파일에 추가하는 제4 단계와, 상기 추가된 송신기별 음성파일을 상기 송신기별 파일을 모두 합친 통합 음성파일에 추가하는 제5 단계 및 상기 송신기별 음성파일과 통합 음성파일을 서버로 전송하고 제2 단계로 되돌아가 다음 단계를 반복하는 제6 단계를 포함할 수 있다.
구체적으로, 상기 제1 단계는, 영상분석모듈이 360ㅀ 파노라마 영상을 회의 참석자별로 화면을 분할 한 후 화면인식을 통해 회의 참석자의 위치정보를 추출하여 송신기별로 참석자를 매칭 시키는 것을 특징으로 할 수 있다.
이상에서 설명한 바와 같이 본 발명은 다수의 참석자가 참여하는 회의에서 송신기를 통해 음성을 입력 받은 후 수신기로 전송하면 수신기는 카메라를 통해 회의 참석자를 촬영하고 이를 분석하여 송신기별로 참석자와 매칭 시킨 후 해당 음성파일을 추가하여 회의가 끝나면 서버로 전송하여 자동으로 문서화된 회의록을 작성하는 것과 같이 다수개의 송신기와 수신기의 멀티 커넥션을 통한 회의록을 생성하고 있기 때문에, 회의 참석자가 다수가 될 때 사람이 작성하기 힘든 회의록을 자동으로 쉽게 작성할 수 있는 효과가 있다.
또한, 회의 참석자의 음성을 수신기가 파일로 생성하고 서버에 전송하면 상기 서버는 미리 정해진 형식에 따라 자동으로 문서화된 회의록을 작성하기 때문에, 이후 회의록을 데이터베이스로 구축할 때 데이터를 쉽게 분류할 수 있도록 하거나 또는 인터넷 등으로 공유할 때 쉽게 검색이 가능하도록 통일성 있는 회의록을 작성할 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 따른 멀티 커넥션을 통한 회의록 생성 시스템의 블록도이다.
도 2는 본 발명의 실시예에 따른 멀티 커넥션을 통한 회의록 생성 방법을 나타낸 순서도이다.
도 3은 도 2에 도시된 음성 입력단게, 음성파일 생성단계, 회의록 생성단계를 상세히 나타낸 순서도이다.
본 발명의 실시예들에 대한 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 멀티 커넥션을 통한 회의록 생성 시스템의 블록도로서, 본 발명의 멀티 커넥션을 통한 회의록 생성 시스템은 송신기(100), 수신기(200), 서버(300) 및 네트워크(400)를 포함할 수 있다.
송신기(100)는 다수의 회의 참석자를 모두 포함할 수 있도록 다수개가 구비되는데, 마이크모듈(110)과 송신기 통신모듈(120)을 포함할 수 있다.
먼저, 송신기(100)는 회의 참석자의 몸에 부착될 수 있는 형태를 하거나, 회의 참석자 앞에 설치될 수 있는 형태를 하거나, 수신기와 일체화된 형태를 할 수 있다. 따라서 본 발명의 일실시예에서 송신기(100)의 형태는 위에 기술된 것에 구애되지 않고 다양한 형태를 가진다 할 것이다.
마이크모듈(110)은 송신기(100) 내부에 구비되어서 회의 참석자의 음성을 입력받는 전기적 신호로 변환하여 송신기통신모듈(120)로 전송하는 기능을 수행하게 된다.
송신기통신모듈(120)은 상기 마이크모듈(110)을 통해 전송되는 회의 참석자의 음성을 전송 받아서 내부적으로 해당 송신기(100)의 식별자 신호(ID) 및 해당 음성에 따른 동기시간과 함께 수신기(200)로 송신하게 된다.
따라서 송신기통신모듈(120)은 자체적으로 음성과 함께 동기 시간을 카운트할 수 있는 시계 모듈을 더 포함할 수 있고 식별자 신호(ID)를 저장 및 생성할 수 있는 관련 메모리를 더 포함할 수 있다.
다수개의 송신기(100)와 수신기(200)와의 멀티 커넥션을 위해서 송신기(100)와 수신기(200)의 통신 연결 방법은 유무선이 모두 사용될 수 있다. 특히 무선 통신 방법으로는 RF(Radio Frequency), 블루투스(Bluetooth) 및 지그비(ZigBee) 중에 선택된 어느 하나일 수 있고, 송신기통신모듈(120)은 내부에 해당 모듈에 해당되는 칩이 구비되도록 한다.
이때, 다수개의 송신기(100)에서 전송되는 음성을 수신기(200)가 구분하여 회의 참석자별로 해당 송신기(100)와 매칭 시켜야 하는데 이 매칭 방법에 대한 구체적인 방법은 후술하기로 한다.
수신기(200)는 다수개의 송신기(100)에서 전송되는 음성을 전송 받아서 이를 회의 참석자와 매칭 시키고 음성파일을 생성하여 서버(300)로 전송하는 기능을 수행하는 장치로서, 카메라모듈(210), 메모리모듈(220), 명상분석모듈(230), 음성파일관리모듈(240) 및 수신기통신모듈(250)을 포함할 수 있다.
수신기(200)는 회의가 열리는 책상 또는 회의실 일정 장소에 설치되어서 송신기(100)를 통해 회의 참석자들의 음성을 수신 받아 서버(300)로 전송하는 역할을 수행한다.
카메라모듈(210)은 수신기(200) 내부에 구비되거나 수신기(200)와 유무선으로 연결되어 수신기(200) 외부에 설치되어 회의 참석자들의 모습을 촬영하여 해당 영상이 메모리모듈(220)에 저장되고 영상분석모듈(230)에 전송되도록 한다.
이때, 카메라모듈(210)이 촬영하는 영상은 회의 참석자마다 배정된 다수개의 송신기(100)에서 전송되는 참석자의 음성과 동기화된 영상을 촬영하게 된다.
또한, 카메라모듈(210)은 회의실 일정 장소 어느 한 곳에 설치되더라도 회의 참석자 모두를 영상에 담을 수 있도록 360ㅀ 파노라마 영상 촬영을 할 수 있도록 하는 것이 바람직하다.
메모리모듈(220)은 수신기(200) 내부에 설치되어서 회의 참석자마다 배정된 다수개의 송신기(100)로부터 전송된 참석자의 음성과 해당 송신기(100)의 해당 식별자 신호(ID)와 동기시간 및 상기 영상을 저장하게 된다. 이와 같이 저장된 다수개의 송신기(100)별로 저장되는 상기 데이터들은 후술하게 될 송신기별 음성파일과 통합 음성파일을 생성할 때 활용되며 상기 음성파일들도 저장된다. 이에 대한 자세한 내용은 후술하기로 한다.
명상분석모듈(230)은 수신기(200) 내부에 구비된 마이컴의 일종으로서 그 내부에 일종의 알고리즘 또는 소프트웨어가 탑재되어서 카메라모듈(210)이 촬영한 회의 참석자를 영상을 분석하여 회의 참석자 수를 파악하고 송신기별로 참석자를 매칭 시키는 기능을 수행하게 된다.
구체적으로, 영상분석모듈(230)이 카메라모듈(210)이 회의 참석자를 촬영한 360ㅀ 파노라마 영상을 상기 메모리모듈(220)에 저장함과 동시에, 상기 360ㅀ 파노라마 영상을 회의 참석자별로 화면을 분할 한 후 메모리모듈(220)에 저장하게 된다.
이때, 상기 영상을 회의 참석자별로 화면을 분할하기 위해 참석자를 인식할 수 있는 알고리즘이 사용될 수 있는데 그 일례로서 안면인식 알고리즘이 사용될 수 있다.
영상분석모듈(230)은 카메라모듈(210)이 회의 참석자를 촬영한 360ㅀ 파노라마 영상과 회의 참석자별로 분할된 분할 영상을 이용하여 안면인식을 통해 회의 참석자의 위치정보를 추출하여 상기 송신기별로 참석자를 매칭 시킬 수 있다.
다시 말하면, 다수개의 송신기(100)는 그 위치와 방향이 미리 정해져 설치되어 있기 때문에 회의 참석자가 해당 위치에 착석하게 되면 자연스럽게 송신기(100)와 참석자는 매칭 되게 되는데, 이 때 영상분석모듈(230)이 회의 참석자별로 분할된 분할 영상과 안면인식을 통해 참석자의 위치정보를 추출하게 되면 해당 위치에 설치된 송신기(100)를 참석자와 서로 매칭 시키게 되는 방식이다.
따라서 이후에 송신기(100)로부터 전송되는 음성, 해당 송신기의 식별자신호(ID), 동기시간은 매칭된 참석자의 음성으로 분류되어 메모리모듈(220)에 저장된다.
음성파일관리모듈(240)은 수신기(200) 내부에 구비된 마이컴의 일종으로서 그 내부에 일종의 알고리즘 또는 소프트웨어가 탑재되어서 송신기(100)로부터 전송되어온 음성파일을 송신기별 음성파일과 통합 음성파일에 추가하는 기능을 수행하게 된다.
다시 말하면, 음성파일관리모듈(240)은 영상분석모듈(230)에 의하여 회의 참석자가 매칭되고 해당 음성과 해당 식별자 신호(ID)와 동기시간이 포함된 송신기별 음성파일을 생성하고 해당 송신기(100)로부터 해당 착석자의 음성이 계속하여 전송될 때 마다 상기 송신기별 음성파일에 추가적으로 기록하게 된다.
그리고 음성파일관리모듈(240)은 상술한 다수개의 송신기별 파일을 모두 합친 통합 음성파일을 생성한 후 계속하여 전송되는 해당 참석자의 음성을 통합 음성파일에 추가하게 된다.
위와 같이 함으로써 다수개의 송신기(100)로부터 음성이 동시다발적으로 수신기(200)에 전송되더라도 참석자별로 매칭된 송신기별 파일에 개별적으로 수록되도록 할 수 있다. 이러한 송신기별 파일은 이후에 통합 음성파일과 함께 서버에 전송되고 나면 송신기별 파일과 통합 음성파일에 함께 저장된 동기시간으로 정렬된 문서로 변환될 수 있도록 한다. 이에 대한 상세한 내용은 후술하기로 한다.
수신기통신모듈(250)은 다수개의 송신기(100)로부터 전송되는 음성, 식별자신호(ID) 및 동기시간 등의 신호를 수신함과 동시에 메모리모듈(220)의 저장내용, 즉, 송신기별 음성, 식별자신호(ID) 및 동기시간에 대한 데이터와 송신기별 음성파일의 데이터와 통합 음성파일에 저장된 데이터를 서버(300)로 유무선 네트워크(400)를 통해 전송하는 기능을 수행한다.
이때 송신기(100)와 수신기(200)의 통신 방법은 상술한 바와 마찬가지로 RF(Radio Frequency), 블루투스(Bluetooth) 및 지그비(ZigBee) 중에 선택된 어느 하나일 수 있고, 수신기(200)와 서버(300)와의 통신 방법은 유무선, 또는 유무선 네트워크일 수 있다.
이상과 같이 설명한 송신기(100)와 수신기(200)는 본 발명의 일실시예에서 서로 분리된 장치인 것을 가정하였지만 본 발명이 이에 한정되는 것이 아니고 송신기(100)와 수신기(200)가 통합된 하나의 장치가 될 수도 있다.
다시 말하면, 송신기(100)와 수신기(200)는 통합될 수 있도록 하되, 송신기(100)에 구비된 마이크모듈(110)이 개수에 따라서 균등하게 영역을 분할되며 통합된 장치에 설치되도록 할 수 있다.
위와 같이 송신기(100)와 수신기(200)가 하나의 장치에 통합되게 되면, 상기 마이크모듈(110)은 어느 한 방향의 음성만을 입력 받을 수 있는 지향성마이크가 사용되도록 하는 것이 바람직하다.
이후에, 송신기(100)와 수신기(200)가 통합된 장치에는 원래의 수신기(200)와 마찬가지로 음성파일관리모듈(240)이 구비되어서 마이크모듈별 음성파일을 생성하여 메모리모듈(210)에 저장하고 마이크모듈(110)에서 전송되는 음성이 멈추면 해당 마이크모듈별 음성을 상기 마이크모듈별 음성파일에 저장함과 동시에 상기 마이크모듈별 파일을 모두 합친 통합 음성파일을 생성한 후 상기 메모리모듈(210)에 저장할 수 있다.
여기서 송신기(100)와 수신기(200)가 통합된 장치는 영상분석모듈(230)과 수신기통신모듈(250) 또한 구비되어서 원래의 수신기(200)와 마찬가지로 해당 기능을 수행하게 된다.
서버(300)는 수신기(100) 및 수신기(200)에서 전송되는 송신기별 음성파일과 통합 음성파일을 유무선 네트워크(400)를 통해 전송받아 데이터로 저장하고 해당 음성파일에 같이 수록된 식별자 신호(ID)와 동기 시간별로 정렬한 후 데이터베이스를 구축할 수 있다.
이후, 위와 같이 정렬된 음성파일들의 음성을 STT(Speech To Text) 기능을 이용하여 문서파일로 변환하여 회의록을 작성하고 저장하게 된다. 물론 이 또한 데이터베이스로 구축될 수 있음은 물론이다.
위와 같이 다수개의 송신기(100)와 수신기(200)가 멀티 커넥션된 시스템을 통하여 다수의 참석자가 참석한 회의의 내용이 서버에 음성파일로 저장됨과 동시에 참석자별 및 동기시간별로 정렬되어서 문서화되게 되므로 통일된 형식의 회의록을 자동으로 생성할 수 있게 된다.
이하에서는 위와 같이 구성된 본 발명의 일실시예인 멀티 커넥션을 통한 회의록 생성 방법에 대하여 상세히 설명하기로 한다.
도 2는 도 2는 본 발명의 실시예에 따른 멀티 커넥션을 통한 회의록 생성 방법을 나타낸 순서도이고, 도 3은 도 2에 도시된 음성 입력단게, 음성파일 생성단계, 회의록 생성단계를 상세히 나타낸 순서도로서, 본 발명의 멀티 커넥션을 통한 회의록 생성 방법은 음성입력단계(S510), 음성파일 생성단계(S520) 및 회의록 생성단계(S530)를 포함할 수 있다.
음성입력단계(S510)는 회의실 일정한 장소에 위치하고 회의 참석자마다 배정된 다수개의 송신기(100)가 내부의 마이크모듈(110)을 통해 회의 참석자의 음성을 입력 받아 송신기통신모듈(120)로 전송하면 송신기통신모듈(120)이 해당 음성을 송신기(100)의 식별자 신호(ID) 및 동기시간과 함께 수신기로 송신하는 단계이다.
음성파일 생성단계(S520)는 수신기(200)가 송신기(200)로부터 전송된 음성과 해당 식별자 신호(ID)와 동기시간 및 카메라모듈(210)이 촬영한 영상을 메모리모듈(220)에 저장한 후 상기 영상을 이용하여 상기 송신기별로 회의 참석자를 매칭시킨 후 송신기별 음성파일과 상기 송신기별 파일을 모두 합친 통합 음성파일을 생성하여 서버에 전송하는 단계로서, 세부적으로 제1 내지 6단계를 포함할 수 있다.
음성파일 생성단계(S520)의 제1 단계는, 수신기(200)에 구비된 카메라모듈(210)이 음성과 동기화된 영상을 촬영하고 영상분석모듈(230)이 상기 영상을 분석하여 회의 참석자 수를 파악하고 송신기별로 참석자를 매칭시키는 단계이다.
제1 단계에서 송신기별로 참석자를 매칭하다 방법은 상술한 바와 같이, 영상분석모듈(230)이 360ㅀ 파노라마 영상을 회의 참석자별로 화면을 분할 한 후 화면인식을 통해 회의 참석자의 위치정보를 추출하여 송신기별로 참석자를 매칭하다 방법을 사용하게 된다. 이에 대한 내용은 상술하였으므로 자세한 내용은 생략하기로 한다.
음성파일 생성단계(S520)의 제2 단계는, 송신기(100)로부터 전송된 음성과 해당 식별자 신호(ID)와 동기시간을 메모리모듈에 저장하는 단계이다.
다시 말하면, 다수개의 송신기(100)로부터 전송되는 신호들은 제1 단계를 통해 참석자별, 즉 송신기별로 구별되고 제2 단계에서 수신기(200)의 메모리모듈(220)에 구별된 상태로 저장될 수 있도록 한다. 이와 같이 저장된 송신기별 데이터들은 후술할 송신기별 음성파일과 통합 음성파일을 생성하는 데 소스 데이터로서 작용한다.
음성파일 생성단계(S520)의 제3 단계는, 송신기별로 전송되는 음성을 계속하여 체크하여 음성이 계속되면 다음 단계로 진행하고 그렇지 않으면 종료하는 단계로서, 회의가 지속될 때 까지 음성파일의 추가 여부를 결정하는 단계이다.
음성파일 생성단계(S520)의 제4 단계는, 제3 단계에서 회의가 진행 중이어서 다수개의 송신기(100)로부터 음성이 계속하여 전송될 때 송신기별로 전송되는 음성을 참석자가 매칭되고 해당 음성과 해당 식별자 신호(ID)와 동기시간이 포함된 송신기별 음성파일에 추가하는 단계이다.
음성파일 생성단계(S520)의 제5 단계는 제4 단계에서 추가된 송신기별 음성파일을 상기 송신기별 파일을 모두 합친 통합 음성파일을 생성하고 이에 추가하는 단계이다.
이로서 송신기별 음성파일과 통합 음성파일을 통해 개별 참석자의 회의 발언 내용과 전체 참석자의 회의 발언 내용이 저장된 파일이 생성되고, 이러한 송신기별 음성파일과 통합 음성파일은 이후 서버(300)에서 회의록으로 작성될 소스 데이터가 된다.
음성파일 생성단계(S520)의 제5 단계는 수신기통신모듈(250)이 송신기별 음성파일과 통합 음성파일을 유무선 네트워크(400)를 통해 서버(300)로 전송하고 제2 단계로 되돌아가 계속하여 다음 단계를 반복함으로써 회의가 종료될 때까지 송신기별 음성파일과 통합 음성파일을 추가적으로 갱신하는 단계이다. 이때, 제3 단계에서 서술한 바와 같이 송신기별로 전송되는 음성이 끊겨서 일정시간 경과하게 되면 수신기(200)가 이를 체크하여 회의가 종료됨을 인지하여 음성파일 생성단계(S520)를 종료하게 되는 것이다.
회의록 생성단계(S530)는, 서버(300)가 수신기(200)에서 전송되는 송신기별 음성파일과 통합 음성파일을 네트워크를 통해 전송받아 식별자 신호(ID)와 동기 시간별로 정렬한 후 음성을 STT(Speech To Text) 기능을 이용하여 문서파일로 변환하여 회의록을 작성하고 저장하는 단계이다.
회의록 생성단계(S530)는, 상술한 바와 같이 상기 송신기별 음성파일과 통합 음성파일을 서버(300)에 데이터로 저장하고 해당 음성파일에 같이 수록된 식별자 신호(ID)와 동기 시간별로 정렬한 후 데이터베이스를 구축할 수 있다. 또한, 송신기별 음성파일과 통합 음성파일이 문서파일로 변환되고 나면 이를 저장한 후에 일정한 형식의 회의록을 작성하게 되는데, 이를 데이터베이스로 구축할 수 있다.
다시 말하면, 회의록 생성단계(S530)에서 송신기별 음성파일에 의해 생성된 참석자별 발언이 수록된 회의록과, 전체 참석자의 발언이 수록된 회의록이 모두 작성될 수 있으며, 이를 데이터베이스로 구축함으로써 차후에 필용한 사람에 의해 상기 회의록이 용이하게 검색되어 활용될 수 있도록 한다.
따라서 이상에서 설명한 바와 같이 다수개의 송신기(100)와 수신기(200)가 멀티 커넥션된 시스템을 이용하면 다수의 참석자가 참석한 회의의 내용이 서버에 음성파일로 저장됨과 동시에 참석자별 및 동기시간별로 정렬되어서 문서화되게 되므로 통일된 형식의 회의록을 자동으로 생성할 수 있게 된다.
이상에서 설명한 바와 같이 본 발명은 다수의 참석자가 참여하는 회의에서 송신기를 통해 음성을 입력 받은 후 수신기로 전송하면 수신기는 카메라를 통해 회의 참석자를 촬영하고 이를 분석하여 송신기별로 참석자와 매칭시킨 후 해당 음성파일을 추가하여 회의가 끝나면 서버로 전송하여 자동으로 문서화된 회의록을 작성하는 것과 같이 다수개의 송신기와 수신기의 멀티 커넥션을 통한 회의록을 생성하고 있기 때문에, 회의 참석자가 다수가 될 때 사람이 작성하기 힘든 회의록을 자동으로 쉽게 작성할 수 있는 효과가 있다.
또한, 회의 참석자의 음성을 수신기가 파일로 생성하고 서버에 전송하면 상기 서버는 미리 정해진 형식에 따라 자동으로 문서화된 회의록을 작성하기 때문에, 이후 회의록을 데이터베이스로 구축할 때 데이터를 쉽게 분류할 수 있도록 하거나 또는 인터넷 등으로 공유할 때 쉽게 검색이 가능하도록 통일성 있는 회의록을 작성할 수 있는 효과가 있다.
이상의 설명에서는 본 발명의 다양한 실시예들을 제시하여 설명하였으나 본 발명이 반드시 이에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능함을 쉽게 알 수 있을 것이다.
100: 송신기 110: 마이크모듈
120: 송신기통신모듈 200: 수신기
210: 카메라모듈 220: 메모리모듈
230: 영상분석모듈 240: 음성파일관리모듈
250: 수신기통신모듈 300: 서버
400: 네트워크

Claims (9)

  1. 회의 참석자의 음성을 입력받는 마이크모듈과, 상기 음성을 식별자 신호(ID) 및 동기시간과 함께 수신기로 송신하는 송신기통신모듈을 포함하는 다수개의 송신기;
    상기 음성과 동기화된 영상을 촬영하는 카메라모듈과, 상기 송신기로부터 전송된 음성과 해당 식별자 신호(ID)와 동기시간 및 상기 영상을 저장하는 메모리모듈과, 상기 영상을 분석하여 회의 참석자 수를 파악하고 송신기별로 참석자를 매칭하다 영상분석모듈과, 상기 참석자가 매칭되고 해당 음성과 해당 식별자 신호(ID)와 동기시간이 포함된 송신기별 음성파일과 상기 송신기별 파일을 모두 합친 통합 음성파일을 생성한 후 계속하여 전송되는 해당 참석자의 음성을 상기 송신기별 음성파일과 통합 음성파일에 추가하는 음성파일 관리모듈 및 상기 메모리모듈의 저장내용을 서버로 전송하는 수신기 통신모듈을 포함하는 수신기; 및
    상기 수신기에서 전송되는 송신기별 음성파일과 통합 음성파일을 네트워크를 통해 전송받아 식별자 신호(ID)와 동기 시간별로 정렬한 후 음성을 STT(Speech To Text) 기능을 이용하여 문서파일로 변환하여 회의록을 작성하고 저장하는 서버;를 포함하는 것을 특징으로 하는 멀티 커넥션을 통한 회의록 생성 시스템.
  2. 청구항 1에 있어서,
    상기 카메라모듈은 360ㅀ 파노라마 영상 촬영을 할 수 있는 것을 특징으로 하는 멀티 커넥션을 통한 회의록 생성 시스템.
  3. 청구항 2에 있어서,
    상기 영상분석모듈은 상기 카메라모듈이 촬영한 360ㅀ 파노라마 영상을 상기 메모리모듈에 저장함과 동시에, 상기 360ㅀ 파노라마 영상을 회의 참석자별로 화면을 분할 한 후 상기 메모리모듈에 저장하는 것을 특징으로 하는 멀티 커넥션을 통한 회의록 생성 시스템.
  4. 청구항 3에 있어서,
    상기 영상분석모듈은 상기 360ㅀ 파노라마 영상과 분할 영상을 이용하여 안면인식을 통해 회의 참석자의 위치정보를 추출하여 상기 송신기별로 참석자를 매칭하다 것을 특징으로 하는 멀티 커넥션을 통한 회의록 생성 시스템.
  5. 청구항 1에 있어서,
    상기 송신기와 수신기는 통합될 수 있도록 하되,
    상기 마이크모듈은 개수에 따라서 균등하게 영역을 분할되며 설치되도록 하는 것을 특징으로 하는 멀티 커넥션을 통한 회의록 생성 시스템.
  6. 청구항 5에 있어서,
    상기 마이크모듈은 지향성마이크이고 상기 음성파일 관리모듈은 마이크모듈별 음성파일을 생성하여 상기 메모리모듈에 저장하고 마이크모듈에서 전송되는 음성이 멈추면 해당 마이크모듈별 음성을 상기 마이크모듈별 음성파일에 저장함과 동시에 상기 마이크모듈별 파일을 모두 합친 통합 음성파일을 생성한 후 상기 메모리모듈에 저장하는 것을 특징으로 하는 멀티 커넥션을 통한 회의록 생성 시스템.
  7. 송신기가 회의 참석자의 음성을 입력 받아 식별자 신호(ID) 및 동기시간과 함께 수신기로 송신하는 음성입력단계;
    수신기가 송신기로부터 전송된 음성과 해당 식별자 신호(ID)와 동기시간 및 카메라모듈이 촬영한 영상을 메모리모듈에 저장한 후 상기 영상을 이용하여 송신기별로 회의 참석자를 매칭하다 후 송신기별 음성파일과 상기 송신기별 파일을 모두 합친 통합 음성파일을 생성하여 서버에 전송하는 음성파일생성단계; 및
    서버가 상기 수신기에서 전송되는 송신기별 음성파일과 통합 음성파일을 네트워크를 통해 전송받아 식별자 신호(ID)와 동기 시간별로 정렬한 후 음성을 STT(Speech To Text) 기능을 이용하여 문서파일로 변환하여 회의록을 작성하고 저장하는 회의록생성단계;를 포함하는 것을 특징으로 하는 멀티 커넥션을 통한 회의록 생성 방법.
  8. 청구항 7에 있어서,
    상기 음성파일생성단계는,
    카메라모듈이 상기 음성과 동기화된 영상을 촬영하고 영상분석모듈이 상기 영상을 분석하여 회의 참석자 수를 파악하고 송신기별로 참석자를 매칭하다 제1 단계;
    송신기로부터 전송된 음성과 해당 식별자 신호(ID)와 동기시간을 메모리모듈에 저장하는 제2 단계;
    송신기별로 전송되는 음성을 체크하여 음성이 계속되면 다음 단계로 진행하고 그렇지 않으면 종료하는 제3 단계;
    송신기별로 전송되는 음성을 참석자가 매칭하다 해당 음성과 해당 식별자 신호(ID)와 동기시간이 포함된 송신기별 음성파일에 추가하는 제4 단계;
    상기 추가된 송신기별 음성파일을 상기 송신기별 파일을 모두 합친 통합 음성파일에 추가하는 제5 단계; 및
    상기 송신기별 음성파일과 통합 음성파일을 서버로 전송하고 제2 단계로 되돌아가 다음 단계를 반복하는 제6 단계;를 포함하는 것을 특징으로 하는 멀티 커넥션을 통한 회의록 생성 방법.
  9. 청구항 8에 있어서,
    상기 제1 단계는,
    영상분석모듈이 360ㅀ 파노라마 영상을 회의 참석자별로 화면을 분할 한 후 화면인식을 통해 회의 참석자의 위치정보를 추출하여 송신기별로 참석자를 매칭하다 것을 특징으로 하는 멀티 커넥션을 통한 회의록 생성 방법.
KR1020170117168A 2017-09-13 2017-09-13 멀티 커넥션을 통한 회의록 생성 시스템 및 그 방법 KR101981049B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170117168A KR101981049B1 (ko) 2017-09-13 2017-09-13 멀티 커넥션을 통한 회의록 생성 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170117168A KR101981049B1 (ko) 2017-09-13 2017-09-13 멀티 커넥션을 통한 회의록 생성 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20190029999A true KR20190029999A (ko) 2019-03-21
KR101981049B1 KR101981049B1 (ko) 2019-08-28

Family

ID=66036826

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170117168A KR101981049B1 (ko) 2017-09-13 2017-09-13 멀티 커넥션을 통한 회의록 생성 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR101981049B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113660378A (zh) * 2020-05-12 2021-11-16 宁波维度数字科技有限公司 智能化语音自动会议记录生成系统
CN114745213A (zh) * 2022-04-11 2022-07-12 深信服科技股份有限公司 一种会议记录生成方法、装置及电子设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005197867A (ja) * 2004-01-05 2005-07-21 Fuji Photo Film Co Ltd 議事進行支援システム及び議事進行支援方法、及び発言入力装置
KR20060083501A (ko) * 2005-01-17 2006-07-21 삼성전자주식회사 멀티미디어 회의록 생성 방법 및 장치
KR20110073758A (ko) * 2009-12-24 2011-06-30 삼성전자주식회사 발언자를 구별하는 영상 회의 장치 및 방법
KR101508092B1 (ko) * 2014-03-13 2015-04-07 재단법인 다차원 스마트 아이티 융합시스템 연구단 화상 회의를 지원하는 방법 및 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005197867A (ja) * 2004-01-05 2005-07-21 Fuji Photo Film Co Ltd 議事進行支援システム及び議事進行支援方法、及び発言入力装置
KR20060083501A (ko) * 2005-01-17 2006-07-21 삼성전자주식회사 멀티미디어 회의록 생성 방법 및 장치
KR20110073758A (ko) * 2009-12-24 2011-06-30 삼성전자주식회사 발언자를 구별하는 영상 회의 장치 및 방법
KR101508092B1 (ko) * 2014-03-13 2015-04-07 재단법인 다차원 스마트 아이티 융합시스템 연구단 화상 회의를 지원하는 방법 및 시스템

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113660378A (zh) * 2020-05-12 2021-11-16 宁波维度数字科技有限公司 智能化语音自动会议记录生成系统
CN114745213A (zh) * 2022-04-11 2022-07-12 深信服科技股份有限公司 一种会议记录生成方法、装置及电子设备和存储介质
CN114745213B (zh) * 2022-04-11 2024-05-28 深信服科技股份有限公司 一种会议记录生成方法、装置及电子设备和存储介质

Also Published As

Publication number Publication date
KR101981049B1 (ko) 2019-08-28

Similar Documents

Publication Publication Date Title
US20190190908A1 (en) Systems and methods for automatic meeting management using identity database
US6687671B2 (en) Method and apparatus for automatic collection and summarization of meeting information
US9438993B2 (en) Methods and devices to generate multiple-channel audio recordings
WO2019184650A1 (zh) 字幕生成方法及终端
US7634533B2 (en) Systems and methods for real-time audio-visual communication and data collaboration in a network conference environment
KR101636716B1 (ko) 발언자를 구별하는 영상 회의 장치 및 방법
JP2007282072A (ja) 電子会議システム、電子会議支援プログラム、電子会議支援方法、電子会議システムにおける情報端末装置
US20170048284A1 (en) Non-transitory computer readable medium, information processing apparatus, and information processing system
US11611600B1 (en) Streaming data processing for hybrid online meetings
KR20190029999A (ko) 멀티 커넥션을 통한 회의록 생성 시스템 및 그 방법
JP2023033634A (ja) サーバ装置、会議支援方法及びプログラム
KR101077267B1 (ko) 얼굴인식 회의 속기 시스템 및 방법
US20240064081A1 (en) Diagnostics-Based Conferencing Endpoint Device Configuration
JP2018025876A (ja) 議会運営支援システム及び議会運営支援方法
EP2775694B1 (en) Methods and devices to generate multiple-channel audio recordings with location-based registration
JP2003339037A (ja) ネットワーク会議システム、ネットワーク会議方法およびネットワーク会議プログラム
KR100981043B1 (ko) 크로마키 기법을 이용한 원격강의 시스템 및 그 방법
KR20230005641A (ko) 멀티커넥션 설정을 통한 자동 회의록 생성 시스템
WO2021171613A1 (ja) サーバ装置、会議支援システム、会議支援方法及びプログラム
JP2021105688A (ja) 会議支援装置
TWI764020B (zh) 視訊會議系統及其方法
JP2019139571A (ja) 会議システム、要約装置、会議システムの制御方法、要約装置の制御方法、並びにプログラム
JP2020027351A (ja) 議事録配信システム、議事録配信方法、及びプログラム
CN116320265B (zh) 一种多视频会议协同开会方法和系统
WO2021171449A1 (ja) サーバ装置、会議支援システム、会議支援方法及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant