JP5751143B2 - Minutes creation support device, minutes creation support system, and minutes creation program - Google Patents

Minutes creation support device, minutes creation support system, and minutes creation program Download PDF

Info

Publication number
JP5751143B2
JP5751143B2 JP2011249680A JP2011249680A JP5751143B2 JP 5751143 B2 JP5751143 B2 JP 5751143B2 JP 2011249680 A JP2011249680 A JP 2011249680A JP 2011249680 A JP2011249680 A JP 2011249680A JP 5751143 B2 JP5751143 B2 JP 5751143B2
Authority
JP
Japan
Prior art keywords
conversation
participant
minutes
participants
conference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011249680A
Other languages
Japanese (ja)
Other versions
JP2013105374A (en
Inventor
聡史 出石
聡史 出石
山下 雅宣
雅宣 山下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2011249680A priority Critical patent/JP5751143B2/en
Publication of JP2013105374A publication Critical patent/JP2013105374A/en
Application granted granted Critical
Publication of JP5751143B2 publication Critical patent/JP5751143B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、議事録作成支援装置、議事録作成支援システム、および、議事録作成用プログラムに関し、特に、重要な発言が抽出できる議事録作成支援装置、議事録作成支援システム、および、議事録作成用プログラムに関する。   The present invention relates to a minutes creation support apparatus, a minutes creation support system, and a minutes creation program, and more particularly, a minutes creation support apparatus, a minutes creation support system, and a minutes creation that can extract important statements. Related to the program.

従来から、議事録の作成について、種々の技術が開示されている。
たとえば、特許文献1(特開2007−215053号公報)には、会議中に議事録を作成する技術が開示されている。特許文献1に記載の技術によれば、議事録作成開始と共に、それを重要な発言の開始時刻と設定し、会議終了時間をもって重要な発言の終了とする。
Conventionally, various techniques have been disclosed for creating minutes.
For example, Patent Document 1 (Japanese Patent Laid-Open No. 2007-215053) discloses a technique for creating minutes during a meeting. According to the technology described in Patent Document 1, when the minutes are created, it is set as the start time of an important statement, and the important statement ends with the meeting end time.

また、非特許文献1("VoiceGraphy−製品概要"、[online]、日本電気株式会社、[平成23年9月21日検索]、インターネット<http://www.nec.co.jp/soft/VoiceGraphy/outline.html>)では、音声認識でテキスト化して議事録が生成される。   Non-Patent Document 1 ("VoiceGraphy-Product Overview", [online], NEC Corporation, [searched on September 21, 2011], Internet <http://www.nec.co.jp/soft/ In VoiceGraphy / outline.html>), the minutes are generated by text recognition by voice recognition.

また、非特許文献2("ディスカッションマイニングプロジェクト"、[online]、名古屋大学大学院情報科学研究科メディア科学専攻、[平成23年9月21日検索]、インターネット<http://www.nagao.nuie.nagoya-u.ac.jp/projects/discussion.xml>)では、複数のカメラ、マイク、および、ブラウザベースのツールを用いて、実世界の活動(たとえば、会議)の様子が収録される。発表者は、専用のツールを用いて、自分が発表に用いるスライドやスライドを切替えるタイミングなどを伝達することで、自動的に、これらの情報が議事録に記録される。また、発言内容は、書記が専用ツールを用いることによって記録される。具体的には、参加者が発言する際には、議論札と呼ばれる札型のデバイスを用いることで、発言者のIDと発言タイプ(質問、回答、コメント)が書記に伝達され、書記の議事録作成が支援されるとともに、議論の構造化が補助される。このようなシステムでは、使用したスライド、Web資料のURL(Uniform Resource Locator)などの情報も自動的に議事録に取り込まれ、半自動的に、議論自体が、構造化された議事録を生成する仕組みになっている。   Also, Non-Patent Document 2 ("Discussion Mining Project", [online], Department of Media Science, Graduate School of Information Science, Nagoya University, [Search September 21, 2011], Internet <http: //www.nagao.nuie .nagoya-u.ac.jp / projects / discussion.xml>) contains real-world activities (for example, meetings) using multiple cameras, microphones, and browser-based tools. The presenter automatically records this information in the minutes by using a dedicated tool to convey the slides used for the presentation and the timing for switching the slides. In addition, the content of a statement is recorded by the clerk using a dedicated tool. More specifically, when a participant speaks, a tag-type device called a discussion tag is used to convey the speaker's ID and the statement type (question, answer, comment) to the secretary. Supports the creation of records and helps to structure the discussion. In such a system, information such as the slides used and URLs (Uniform Resource Locator) of Web materials are automatically captured in the minutes, and the discussion itself generates a structured minutes. It has become.

なお、イベントなどにおける参加者間の会話を記録する技術としては、非特許文献3("ビジネス顕微鏡(登録商標)とは"、[online]、株式会社日立製作所、[平成23年9月21日検索]、インターネット<http://www.hitachi-hitec.com/jyouhou/business-microscope/solution/microscope.html>)において、ビジネス顕微鏡という技術が開示されている。当該技術では、IDカード型のセンシング装置が利用される。当該装置は、マイクを備え、対面センサを内蔵している。このマイクは、当該装置を装着したユーザーの声や環境音を捉える。また、対面センサは、対面した人が装着するIDカード型のセンシング装置と通信することにより、対面した人を特定する。   In addition, as a technique for recording conversations between participants at an event or the like, Non-Patent Document 3 ("What is Business Microscope (registered trademark)", [online], Hitachi, Ltd., [September 21, 2011 Search], the Internet <http://www.hitachi-hitec.com/jyouhou/business-microscope/solution/microscope.html>), a technology called a business microscope is disclosed. In this technology, an ID card type sensing device is used. The apparatus includes a microphone and a face-to-face sensor. This microphone captures the voice and environmental sound of the user wearing the device. In addition, the face-to-face sensor identifies the faced person by communicating with an ID card type sensing device worn by the faced person.

特開2007−215053号公報JP 2007-215053 A

"VoiceGraphy−製品概要"、[online]、日本電気株式会社、[平成23年9月21日検索]、インターネット<http://www.nec.co.jp/soft/VoiceGraphy/outline.html>"VoiceGraphy-Product Overview", [online], NEC Corporation, [searched on September 21, 2011], Internet <http://www.nec.co.jp/soft/VoiceGraphy/outline.html> "ディスカッションマイニングプロジェクト"、[online]、名古屋大学大学院情報科学研究科メディア科学専攻、[平成23年9月21日検索]、インターネット<http://www.nagao.nuie.nagoya-u.ac.jp/projects/discussion.xml>"Discussion Mining Project", [online], Department of Media Science, Graduate School of Information Science, Nagoya University, [Search September 21, 2011], Internet <http://www.nagao.nuie.nagoya-u.ac. jp / projects / discussion.xml> "ビジネス顕微鏡(登録商標)とは"、[online]、株式会社日立製作所、[平成23年9月21日検索]、インターネット<http://www.hitachi-hitec.com/jyouhou/business-microscope/solution/microscope.html>"What is a business microscope (registered trademark)", [online], Hitachi, Ltd., [searched on September 21, 2011], Internet <http://www.hitachi-hitec.com/jyouhou/business-microscope /solution/microscope.html>

近年、ライフログという、ある程度コマ切りになった音声データ、その場(会議等の場)で作成した文書、ホワイトボードの画像など、多様で雑多な情報をすべて保存し、活用するような仕組みが提案されている。このようなライフログを利用して、人の行動パターンを抽出し、それをマーケティングにつなげるシステムの利用も種々検討されている。   In recent years, the life log has a mechanism that saves and uses all sorts of miscellaneous information such as audio data that has been cut into frames, documents created on the spot (such as meetings), and whiteboard images. Proposed. Various studies have been made on the use of a system that uses such life logs to extract human behavior patterns and connect them to marketing.

会議等のイベントの議事録の作成としては、上記のようなライフログから、当該イベントにとって重要な部分が抽出されることが有益であると考えられる。議事録作成担当者が、イベント全体を観察し、または、イベント全体が記録されたもののみが残された場合にその記録物から、手作業で、議事録を作成するのは手間と時間を要するからである。   In creating the minutes of events such as conferences, it is useful to extract important parts for the event from the life log as described above. It takes time and effort to prepare the minutes manually from the recorded records when the minutes maker observes the entire event or only records the entire event. Because.

しかしながら、特許文献1に記載の技術によれば、重要な発言の出現のタイミングが会議開始時刻に対応して設定されるが、このような方法では重要な発言を記録できない場合も考えられる。さらに、会議中に議事録を作成することを前提としており、あとから作成することができない。したがって、会議後に議事録の作成が必要となった場合に、対応できない。   However, according to the technique described in Patent Document 1, the timing of appearance of important utterances is set corresponding to the conference start time, but there are cases where important utterances cannot be recorded by such a method. Furthermore, it is assumed that minutes will be created during the meeting and cannot be created later. Therefore, it is not possible to prepare for the minutes after the meeting.

また、非特許文献1に記載の技術によれば、イベント中の発言の一覧表を得ることはできるが、重要な部分の抽出という点が考慮されていない。   Further, according to the technique described in Non-Patent Document 1, it is possible to obtain a list of statements in an event, but the point of extracting important parts is not taken into consideration.

また、非特許文献2に記載の技術によれば、イベント中に生じた議論を構造化して解析することはできるが、発言者による札型のデバイスの操作を要し、参加者にとって煩雑となる。また、発言者がデバイスの操作を忘れて発言を行なった場合には、議事録作成の対応ができなくなる。さらに、議事録の作成対象が日常の業務における会話といった参加者が特別な意識を持たない場面での適用も難しいと考えられる。   Further, according to the technique described in Non-Patent Document 2, it is possible to structure and analyze the discussion that occurred during the event, but it requires a speaker to operate a bill-type device, which is complicated for the participants. . Also, if the speaker forgets to operate the device and makes a statement, the minutes cannot be created. Furthermore, it is considered difficult to apply in a situation where participants are not particularly aware of the minutes, such as conversations in daily work.

また、非特許文献3に記載の技術によれば、ユーザー間の相関図が作成されたりするものの、イベントの重要な部分の抽出という点については検討がなされていない。   Further, according to the technique described in Non-Patent Document 3, although a correlation diagram between users is created, the point of extracting an important part of an event has not been studied.

本発明は係る実情に鑑み考え出されたものであり、その目的は、会議の重要な部分を抽出して議事録を作成することができる議事録作成支援装置、議事録作成支援システム、および、議事録作成用プログラムを提供することである。   The present invention has been conceived in view of such circumstances, and its purpose is to extract a minutes of a meeting by extracting an important part of the meeting, a meeting creation support system, and It is to provide a program for creating minutes.

本発明のある局面に従った議事録作成支援装置は、会議の参加者同士の会話が成立している状態を検知するための検知手段と、会議の参加者が発する音声を記録するための記録手段と、検知手段による会話の成立状態の検知結果に基づいて、記録手段に記録された音声から特定の音声を抽出するための抽出手段と、特定の音声を用いて会議の議事録を作成するための議事録作成手段とを備え、検知手段は、各参加者によって装着される個別IDを有するデバイスの赤外線送受信部の各々が通信可能になり、互いに相手の個別IDを受信した参加者の組が存在する場合に、会議の参加者同士の会話が成立している状態と判断する。
本発明の他の局面に従った議事録作成支援装置は、会議の参加者同士の会話が成立している状態を検知するための検知手段と、会議の参加者が発する音声を記録するための記録手段と、検知手段による会話の成立状態の検知結果に基づいて、記録手段に記録された音声から特定の音声を抽出するための抽出手段と、特定の音声を用いて会議の議事録を作成するための議事録作成手段とを備え、検知手段は、各参加者によって装着されるデバイスの電子コンパスとGPSコントローラーにより、各参加者の位置と向きを特定して、近傍に位置し、かつ、向かい合っている参加者の組において音声が検出された場合に、会議の参加者同士の会話が成立している状態と判断する。
A minutes creation support apparatus according to an aspect of the present invention includes a detection unit for detecting a state in which a conversation between conference participants is established, and a record for recording a voice uttered by the conference participants. And a means for extracting a specific voice from the voice recorded in the recording means based on the detection result of the conversation establishment state by the means, and a meeting minutes using the specific voice And a means for creating a minutes for the detection, and the detection means is a set of participants who can communicate with each other of the infrared transmission / reception unit of the device having an individual ID attached by each participant and have received each other's individual ID. but if that is present, it judges that it is the state where the conversation among participants of the conference is established.
A minutes creation support apparatus according to another aspect of the present invention is for detecting a state in which a conversation between participants in a conference is established, and for recording a sound emitted by a participant in the conference. Recording means, extraction means for extracting specific sound from the sound recorded in the recording means based on the detection result of the conversation establishment state by the detecting means, and creating the meeting minutes using the specific sound And a means for creating a minutes for detecting the position and orientation of each participant by means of an electronic compass and a GPS controller of a device worn by each participant; and When voice is detected in a pair of participants facing each other, it is determined that a conversation between the participants in the conference is established.

好ましくは、抽出手段は、会議の参加者のそれぞれについて、検知手段によって会話が成立したと判断された時間を積算して合計会話時間を算出し、各参加者についての合計会話時間に基づいて、会議における主発言者を特定し、記録手段が記録した音声から、主発言者が含まれる会話の音声を、特定の音声として抽出する。   Preferably, for each participant in the conference, the extraction means calculates the total conversation time by adding up the times when the conversation is determined to be established by the detection means, and based on the total conversation time for each participant, The main speaker in the conference is specified, and the voice of the conversation including the main speaker is extracted as the specific voice from the voice recorded by the recording means.

好ましくは、抽出手段は、すべての参加者についての合計会話時間に対する各参加者の合計会話時間の比を算出することによって、各参加者の会話集中度を算出し、各参加者の会話集中度に基づいて、最も会話集中度の高い参加者を主発言者として決定し、記録手段が記録した音声から、主発言者が含まれる会話の音声を、特定の音声として抽出する。   Preferably, the extraction means calculates the conversation concentration level of each participant by calculating the ratio of the total conversation time of each participant to the total conversation time for all participants, and the conversation concentration level of each participant. Based on the above, the participant having the highest conversation concentration is determined as the main speaker, and the voice of the conversation including the main speaker is extracted as the specific voice from the voice recorded by the recording means.

好ましくは、記録手段は、各参加者が発した音声と当該参加者に発せられた音声とを区別して、音声を記録する。   Preferably, the recording unit records the sound by distinguishing between the sound uttered by each participant and the sound uttered by the participant.

好ましくは、議事録作成手段は、特定の音声に対するリンクを生成し、当該リンクを提示する。   Preferably, the minutes creation unit generates a link for a specific voice and presents the link.

好ましくは、抽出手段は、音声の発話の時間帯に基づく優先度に基づいて、記録手段に記録された音声から特定の音声を抽出する。   Preferably, the extraction unit extracts a specific voice from the voice recorded in the recording unit based on the priority based on the time zone of the voice utterance.

好ましくは、抽出手段は、記録手段に記録された音声を発した参加者に対して設定された優先度に基づいて、記録手段に記録された音声から特定の音声を抽出する。   Preferably, the extraction unit extracts specific audio from the audio recorded in the recording unit based on the priority set for the participant who has emitted the audio recorded in the recording unit.

好ましくは、記録手段は、音声を、当該音声を発する者の生体情報とともに記録する Preferably, the recording means records the sound together with the biological information of the person who emits the sound .

本発明のある局面に従った議事録作成支援システムは、会議の参加者が装着する検出手段と、検出手段と通信可能な議事録作成支援装置とを備えた、議事録作成支援システムであって、議事録作成支援装置は、各検出手段から取得する検出結果に基づいて、会議の参加者同士の会話が成立している状態を検知するための検知手段と、会議の参加者が発する音声を記録するための記録手段と、検知手段による会話の成立状態の検知結果に基づいて、記録手段に記録された音声から特定の音声を抽出するための抽出手段と、特定の音声を用いて会議の議事録を作成するための議事録作成手段とを含み、検知手段は、各参加者によって装着される個別IDを有するデバイスの赤外線送受信部の各々が通信可能になり、互いに相手の個別IDを受信した参加者の組が存在する場合に、会議の参加者同士の会話が成立している状態と判断する。
本発明の他の局面に従った議事録作成支援システムは、会議の参加者が装着する検出手段と、検出手段と通信可能な議事録作成支援装置とを備えた、議事録作成支援システムであって、議事録作成支援装置は、各検出手段から取得する検出結果に基づいて、会議の参加者同士の会話が成立している状態を検知するための検知手段と、会議の参加者が発する音声を記録するための記録手段と、検知手段による会話の成立状態の検知結果に基づいて、記録手段に記録された音声から特定の音声を抽出するための抽出手段と、特定の音声を用いて会議の議事録を作成するための議事録作成手段とを含み、検知手段は、各参加者によって装着されるデバイスの電子コンパスとGPSコントローラーにより、各参加者の位置と向きを特定して、近傍に位置し、かつ、向かい合っている参加者の組において音声が検出された場合に、会議の参加者同士の会話が成立している状態と判断する。
A minutes creation support system according to an aspect of the present invention is a minutes creation support system including a detection means worn by a conference participant and a minutes creation support device capable of communicating with the detection means. The minutes preparation support device, based on the detection result obtained from each detection means, a detection means for detecting a state in which the conversation between the conference participants is established, and the sound emitted by the conference participants A recording means for recording, an extraction means for extracting a specific sound from the sound recorded in the recording means based on the detection result of the conversation establishment state by the detecting means, and a meeting using the specific sound look including the proceedings creation means for creating the minutes, detection means becomes each communicable infrared transceiver devices with individual ID worn by each participant, the individual ID of the other party mutually Receive If the set of participants are present, it judges that it is the state where the conversation among participants of the conference is established.
A minutes creation support system according to another aspect of the present invention is a minutes creation support system comprising a detection means worn by a conference participant and a minutes creation support device capable of communicating with the detection means. Thus, the minutes creation support device, based on the detection results obtained from each detection means, a detection means for detecting a state in which a conversation between the conference participants is established, and a sound emitted by the conference participants A recording means for recording the voice, an extraction means for extracting a specific voice from the voice recorded in the recording means based on the detection result of the conversation establishment state by the detection means, and a meeting using the specific voice The minutes detection means for creating the minutes of the device, and the detection means identify the position and orientation of each participant by the electronic compass and GPS controller of the device worn by each participant, and in the vicinity Place And, and, when it is detected voice in the set of participants who are opposed, it is determined that the state in which the conversation between the participants of the conference is established.

本発明のある局面に従った議事録作成用プログラムは、コンピュータ読取可能なプログラムであって、コンピュータを、会議の参加者同士の会話が成立している状態を検知するための検知手段、会議の参加者が発する音声を記録するための記録手段、検知手段による会話の成立状態の検知結果に基づいて、記録手段に記録された音声から特定の音声を抽出するための抽出手段、および、特定の音声を用いて会議の議事録を作成するための議事録作成手段として機能させ、検知手段は、各参加者によって装着される個別IDを有するデバイスの赤外線送受信部の各々が通信可能になり、互いに相手の個別IDを受信した参加者の組が存在する場合に、会議の参加者同士の会話が成立している状態と判断する
本発明の他の局面に従った議事録作成用プログラムは、コンピュータ読取可能なプログラムであって、コンピュータを、会議の参加者同士の会話が成立している状態を検知するための検知手段、会議の参加者が発する音声を記録するための記録手段、検知手段による会話の成立状態の検知結果に基づいて、記録手段に記録された音声から特定の音声を抽出するための抽出手段、および、特定の音声を用いて会議の議事録を作成するための議事録作成手段として機能させ、検知手段は、各参加者によって装着されるデバイスの電子コンパスとGPSコントローラーにより、各参加者の位置と向きを特定して、近傍に位置し、かつ、向かい合っている参加者の組において音声が検出された場合に、会議の参加者同士の会話が成立している状態と判断する。
A minutes creation program according to an aspect of the present invention is a computer-readable program, and a computer detects a state in which a conversation between participants in a conference is established. Recording means for recording the voice uttered by the participant, extraction means for extracting a specific voice from the voice recorded in the recording means based on the detection result of the conversation establishment state by the detection means, and a specific It functions as a minutes creation means for creating the minutes of the meeting using voice, and the detection means enables each of the infrared transmission / reception units of the devices having individual IDs attached by each participant to communicate with each other. When there is a set of participants who have received the other party's individual ID, it is determined that a conversation between the participants in the conference has been established .
A minutes creation program according to another aspect of the present invention is a computer-readable program, and a computer detects a state in which a conversation between conference participants is established, a meeting Recording means for recording the voice uttered by the participants, extraction means for extracting a specific voice from the voice recorded in the recording means based on the detection result of the conversation establishment state by the detecting means, and a specific It functions as a minutes creation means for creating the meeting minutes using the voice of the device, and the detection means detects the position and orientation of each participant by the electronic compass and GPS controller of the device worn by each participant. In particular, if audio is detected in a pair of participants who are located in the vicinity and face each other, it is determined that the conversation between the participants in the conference has been established. To.

会話が記録され、また、会話の成立状態が検知され、そして、成立が検知された結果に基づいて、記録された音声から特定の音声が抽出されて、議事録が作成される。   The conversation is recorded, the establishment state of the conversation is detected, and based on the result of detecting the establishment, a specific sound is extracted from the recorded sound to create a minutes.

これにより、会話が成立し、さらに、当該会話がどのように成立したかに応じて、議事録の作成に利用される音声が抽出される。   As a result, a conversation is established, and further, a voice to be used for creating the minutes is extracted according to how the conversation is established.

これにより、会議において重要と考えられる音声を抽出して、議事録を作成することができる。   As a result, it is possible to extract the audio considered important in the conference and create the minutes.

本発明の一実施の形態である議事録作成支援システムの概略構成を示す図である。It is a figure which shows schematic structure of the minutes creation assistance system which is one embodiment of this invention. 議事録作成支援システムの機能構成の一例を模式的に示す図である。It is a figure which shows typically an example of a function structure of a minutes creation assistance system. 会話収集デバイスの外観の一例を示す図である。It is a figure which shows an example of the external appearance of a conversation collection device. 会話収集デバイスのハードウェア構成の一例を模式的に示す図である。It is a figure which shows typically an example of the hardware constitutions of a conversation collection device. サーバーのハードウェア構成の一例を模式的に示す図である。It is a figure which shows an example of the hardware constitutions of a server typically. 会議の風景の一例を模式的に示す図である。It is a figure which shows an example of the scenery of a meeting typically. 本発明の一実施の形態において生成される会話状態の一例を模式的に示す図である。It is a figure which shows typically an example of the conversation state produced | generated in one embodiment of this invention. 本発明の一実施の形態において生成される各参加者の会話時間の一例を模式的に示す図である。It is a figure which shows typically an example of the conversation time of each participant produced | generated in one embodiment of this invention. 会話集中度の算出方法を説明するための図である。It is a figure for demonstrating the calculation method of a conversation concentration degree. 図9に示された各者の発言のうち、抽出部によって抽出される発言に対応する音声データの内容を模式的に示す図である。It is a figure which shows typically the content of the audio | voice data corresponding to the utterance extracted by the extraction part among the utterances of each person shown by FIG. 本発明の一実施の形態の議事録作成システムにおいて実行される議事録作成処理のフローチャートである。It is a flowchart of the minutes creation process performed in the minutes creation system of one embodiment of this invention. 会議ごとに予め登録されるタグ情報の一例を示す図である。It is a figure which shows an example of the tag information registered beforehand for every meeting. サーバーの表示デバイスに表示される画面の一例を示す図である。It is a figure which shows an example of the screen displayed on the display device of a server. 議事録ファイルの表示例を示す図である。It is a figure which shows the example of a display of a minutes file. 各音声データにリンクする情報を表示するための画面の一例を示す図である。It is a figure which shows an example of the screen for displaying the information linked to each audio | voice data. 会話収集デバイスの変形例の外観を示す図である。It is a figure which shows the external appearance of the modification of a conversation collection device. 図16の会話収集デバイスのハードウェア構成の一例を模式的に示す図である。It is a figure which shows typically an example of the hardware constitutions of the conversation collection device of FIG. 会話収集デバイスの他の変形例のハードウェア構成の一例を模式的に示す図である。It is a figure which shows typically an example of the hardware constitutions of the other modification of a conversation collection device. 図15のリンクの表示画面の変形例を示す図である。It is a figure which shows the modification of the display screen of the link of FIG. 会話収集デバイスのさらに他の変形例のハードウェア構成の一例を模式的に示す図である。It is a figure which shows typically an example of the hardware constitutions of the other modification of a conversation collection device.

以下、本発明に係る議事録作成支援システムについて、図面を参照して説明する。なお、各図において、同様の作用および機能を奏する構成要素については、同じ符号を付し、その説明は繰返さない。   The minutes creation support system according to the present invention will be described below with reference to the drawings. In addition, in each figure, the same code | symbol is attached | subjected about the component which show | plays the same effect | action and function, and the description is not repeated.

[議事録作成システムの概略構成]
図1は、本発明の一実施の形態である議事録作成支援システムの概略構成を示す図である。
[Schematic configuration of the minutes creation system]
FIG. 1 is a diagram showing a schematic configuration of a minutes creation support system according to an embodiment of the present invention.

図1を参照して、議事録作成支援システムは、各ユーザー(会議の参加者)が装着し、検出手段として機能する会話収集デバイス200A〜200Dと、会話収集デバイス200A〜200Dのそれぞれと通信し、議事録作成支援装置として機能するサーバー100とを含む。   Referring to FIG. 1, the minutes creation support system communicates with each of conversation collection devices 200A to 200D and conversation collection devices 200A to 200D, which are worn by each user (participant of the conference) and function as detection means. And a server 100 functioning as a minutes creation support apparatus.

本明細書では、会話収集デバイス200A〜200Dを総称して「会話収集デバイス200」と呼ぶ場合もある。会話収集デバイスの数は、参加者と同数あっても良いし、それ以下であっても良い。つまり、会議の参加者全員が会話収集デバイスを装着していても良いし、一部の参加者のみが会話収集デバイスを装着していても良い。   In this specification, the conversation collection devices 200 </ b> A to 200 </ b> D may be collectively referred to as “conversation collection device 200”. The number of conversation collection devices may be the same as the number of participants, or less. That is, all the participants in the conference may be equipped with the conversation collection device, or only some of the participants may be equipped with the conversation collection device.

また、会話収集デバイスは、会議の参加者間で会話が成立している状態を検知するための情報を取得したり、参加者が発する音声(会話)を取得するための装置である。したがって、議事録作成支援システムでは、複数の参加者についてのこれらの情報を取得できる装置が備えられれば、参加者全員の情報を取得するためであっても、参加者と同数備えられる必要はなく、単数である場合も有り得る。   The conversation collection device is an apparatus for acquiring information for detecting a state in which a conversation is established between the participants in the conference, and acquiring voice (conversation) uttered by the participants. Therefore, in the minutes creation support system, if a device capable of acquiring such information about a plurality of participants is provided, it is not necessary to provide the same number as the participants even for acquiring information of all participants. In some cases, it may be singular.

図2は、議事録作成支援システムの機能構成の一例を模式的に示す図である。
議事録作成支援システムは、ライフログ生成システム900と議事録作成システム800とから主に構成される。ライフログ生成システム900は、1以上の会話収集デバイス200と、タグ生成部910と、データ保存部920とを含み、会議中に当該会議の参加者のデータを取得して保存する機能を有する。タグ生成部910は、会議についてのタグ情報を生成する。
FIG. 2 is a diagram schematically illustrating an example of a functional configuration of the minutes creation support system.
The minutes creation support system mainly includes a life log generation system 900 and a minutes creation system 800. The life log generation system 900 includes one or more conversation collection devices 200, a tag generation unit 910, and a data storage unit 920, and has a function of acquiring and storing data of participants in the conference during the conference. The tag generation unit 910 generates tag information about the conference.

会話収集デバイス200を介して取得された参加者のデータは、タグ生成部910において生成されたタグ情報とともに、データ保存部920に保存される。より具体的には、会話収集デバイス200は、各参加者の音声等の参加者自身の情報を取得する部分と、各参加者が誰と会話しているのかを特定するための情報を取得する部分とを有する。これらの情報は、会議終了後に検索が可能なように、会議に付されるタグ情報とともに、保存される。タグ生成部910は、タグ情報として、日時や図示しないスケジューラからの会議情報などを、タグ情報として付与する。ライフログ生成システム900では、このようにしてリアルタイムに生成された情報が、データ保存部920に保存される。   Participant data acquired via the conversation collection device 200 is stored in the data storage unit 920 together with the tag information generated in the tag generation unit 910. More specifically, the conversation collection device 200 acquires a part for acquiring the participant's own information such as the voice of each participant, and information for specifying who each participant is talking to. And having a part. These pieces of information are stored together with tag information attached to the conference so that the search can be performed after the conference ends. The tag generation unit 910 gives date information, conference information from a scheduler (not shown), and the like as tag information. In the life log generation system 900, the information generated in real time in this way is stored in the data storage unit 920.

議事録作成システム800は、検索部810と、入力部820と、特定発言者特定部830と、会話集中度算出部840と、抽出部850と、優先度設定部860と、リンク生成部870と、議事録作成部880とを含む。本実施の形態では、会話集中度算出部840は検知手段として機能し、特定発言者特定部830と会話集中度算出部840と抽出部850とは抽出手段として機能する。   The minutes creation system 800 includes a search unit 810, an input unit 820, a specific speaker identification unit 830, a conversation concentration calculation unit 840, an extraction unit 850, a priority setting unit 860, and a link generation unit 870. And a minutes creation unit 880. In the present embodiment, the conversation concentration level calculation unit 840 functions as a detection unit, and the specific speaker identification unit 830, the conversation concentration level calculation unit 840, and the extraction unit 850 function as an extraction unit.

検索部810は、議事録作成の対象となる会議のタグ情報をデータ保存部920から検索する。入力部820は、議事録作成の指示等の情報の入力を受付ける。なお、入力部820は、議事録作成の指示を、ネットワークを介して、外部の装置から、受付ける場合も有り得る。なお、入力部820は、タグ情報を生成するための情報の入力を受付ける場合も有り得る。   The search unit 810 searches the data storage unit 920 for tag information of a meeting for which minutes are to be created. The input unit 820 accepts input of information such as a minutes creation instruction. Note that the input unit 820 may receive an instruction for creating the minutes from an external device via a network. Note that the input unit 820 may accept input of information for generating tag information.

会話集中度算出部840は、会議の各参加者について、後述する会話集中度を算出する。特定発言者特定部830は、会議の参加者から、会話集中度等に基づいて、議事録の作成に発言を利用する参加者を特定する。抽出部850は、特定発言者特定部830が特定した参加者が関与する会話をデータ保存部920から抽出する。優先度設定部860は、会議の参加者に対して、議事録の作成に関しての優先度を設定する。リンク生成部870は、議事録ファイルのトップページから議事録を構成する音声データ等の各種のデータへのリンク情報を生成する。議事録作成部880は、上記したようなトップページとリンク情報とを関連付ける等により、議事録ファイルを作成する。   The conversation concentration degree calculation unit 840 calculates a conversation concentration degree described later for each participant in the conference. The specific speaker specifying unit 830 specifies a participant who uses the speech for creating the minutes based on the conversation concentration level and the like from the participants of the conference. The extraction unit 850 extracts, from the data storage unit 920, the conversation involving the participant specified by the specific speaker specifying unit 830. The priority setting unit 860 sets the priority for creating the minutes for the participants of the conference. The link generation unit 870 generates link information from the top page of the minutes file to various data such as voice data that constitutes the minutes. The minutes creation unit 880 creates a minutes file by associating the top page with the link information as described above.

[会話収集デバイスの構成]
図3は、会話収集デバイス200の外観の一例を示す図である。
[Conversation Collection Device Configuration]
FIG. 3 is a diagram illustrating an example of the appearance of the conversation collection device 200.

図3を参照して、会話収集デバイス200は、会議参加者が首からかけるIDカードタイプの形態を有している。会話収集デバイス200は、マイク201と赤外線送受信部202とを含む。マイク201は、装着者が発する音声を取得することができる。   Referring to FIG. 3, conversation collecting device 200 has an ID card type form that a conference participant wears from the neck. The conversation collection device 200 includes a microphone 201 and an infrared transmission / reception unit 202. The microphone 201 can acquire the sound emitted by the wearer.

会話収集デバイス200の内部には、メモリー(後述する記憶部260)を含む。当該メモリーには、装着者を区別することができるように、各会話収集デバイス200を特定するための個別IDが保存されている。議事録作成支援システムでは、当該個別IDと、たとえば図示しない社内人事DBとを連携させることにより、各会話収集デバイス200のマイク201で検出された音声データが、誰の音声データであるかを区別することができる。   The conversation collection device 200 includes a memory (a storage unit 260 described later). In the memory, an individual ID for specifying each conversation collection device 200 is stored so that the wearer can be distinguished. In the minutes creation support system, by linking the individual ID with, for example, an in-house personnel HR DB (not shown), the voice data detected by the microphone 201 of each conversation collection device 200 is distinguished from the voice data. can do.

赤外線送受信部202は、上記メモリーに保存されている個別IDをコード化して、赤外線で送信している。また、赤外線送受信部202は、他の会話収集デバイス200の赤外線送受信部202が送信した個別IDを受信できる。   The infrared transmitting / receiving unit 202 encodes the individual ID stored in the memory and transmits it by infrared. Further, the infrared transmission / reception unit 202 can receive the individual ID transmitted by the infrared transmission / reception unit 202 of another conversation collection device 200.

議事録作成支援システムでは、会話収集デバイス200において他の個別IDが受信されたことにより、当該会話収集デバイス200を装着している参加者が、個別IDを受信された会話収集デバイス200を装着している参加者と対面していることが検知される。   In the minutes creation support system, when another individual ID is received by the conversation collection device 200, a participant wearing the conversation collection device 200 wears the conversation collection device 200 that has received the individual ID. It is detected that it is meeting with a participant who is present.

図4は、会話収集デバイス200のハードウェア構成の一例を模式的に示す図である。
図4を参照して、会話収集デバイス200は、当該端末の動作を全体的に制御する演算装置によって構成されるCPU(Central Processing Unit)251と、RAM(Random Access Memory)252と、ROM(Read Only Memory)253と、通信装置254と、記憶部260とを含む。
FIG. 4 is a diagram schematically illustrating an example of a hardware configuration of the conversation collection device 200.
Referring to FIG. 4, a conversation collection device 200 includes a CPU (Central Processing Unit) 251, a RAM (Random Access Memory) 252, and a ROM (Read) configured by an arithmetic device that controls the operation of the terminal as a whole. Only Memory) 253, a communication device 254, and a storage unit 260.

RAM252は、CPU251がプログラムを実行する際のワークエリアとして機能する。通信装置254は、たとえばLAN(Local Area Network)カード、LANアダプタ等のネットワーク通信機器からなる。なお、会議中等にデータをサーバー100に送信する場合は、無線LANカードや、Bluetooth(登録商標)チップセット等の非接触での通信機能を有することが望ましい。会話収集デバイス200は、通信装置254を介して、サーバー100へ接続される。   The RAM 252 functions as a work area when the CPU 251 executes a program. The communication device 254 includes a network communication device such as a LAN (Local Area Network) card or a LAN adapter. Note that when data is transmitted to the server 100 during a meeting or the like, it is desirable to have a non-contact communication function such as a wireless LAN card or a Bluetooth (registered trademark) chipset. The conversation collection device 200 is connected to the server 100 via the communication device 254.

記憶部260は、CPU251が実行するプログラムを記憶するプログラム記憶部261と、種々のデータを記憶するデータ記憶部262とを含む。なお、記憶部260は、会話収集デバイス200の本体から着脱可能な記録媒体によって構成されても良い。記憶媒体としては、CD−ROM(Compact Disc - Read Only Memory)、DVD−ROM(Digital Versatile Disk - Read Only Memory)、USB(Universal Serial Bus)メモリ、メモリカード、FD(Flexible Disk)、ハードディスク、磁気テープ、カセットテープ、MO(Magnetic Optical Disc)、MD(Mini Disc)、IC(Integrated Circuit)カード(メモリカードを除く)、光カード、マスクROM、EPROM、EEPROM(Electronically Erasable Programmable Read-Only Memory)などの、不揮発的にプログラムを格納する媒体が挙げられる。   The storage unit 260 includes a program storage unit 261 that stores programs executed by the CPU 251 and a data storage unit 262 that stores various data. Note that the storage unit 260 may be configured by a recording medium that is detachable from the main body of the conversation collection device 200. Storage media include CD-ROM (Compact Disc-Read Only Memory), DVD-ROM (Digital Versatile Disk-Read Only Memory), USB (Universal Serial Bus) memory, memory card, FD (Flexible Disk), hard disk, magnetic Tape, cassette tape, MO (Magnetic Optical Disc), MD (Mini Disc), IC (Integrated Circuit) card (excluding memory cards), optical card, mask ROM, EPROM, EEPROM (Electronically Erasable Programmable Read-Only Memory), etc. And a medium for storing the program in a nonvolatile manner.

[サーバーの構成]
図5は、サーバー100のハードウェア構成の一例を模式的に示す図である。
Server configuration
FIG. 5 is a diagram schematically illustrating an example of the hardware configuration of the server 100.

図5を参照して、サーバー100は、当該サーバー100の動作を全体的に制御する演算装置によって構成されるCPU151と、RAM152と、ROM153と、通信装置154と、表示ドライバー155と、表示デバイス156と、入力部157と、記憶部160とを含む。   Referring to FIG. 5, the server 100 includes a CPU 151, a RAM 152, a ROM 153, a communication device 154, a display driver 155, and a display device 156 that are configured by an arithmetic device that generally controls the operation of the server 100. And an input unit 157 and a storage unit 160.

通信装置154は、たとえばLANカード、LANアダプタ等のネットワーク通信機器からなる。なお、会議中等にデータを会話収集デバイス200から受信する場合は、無線LANカードや、Bluetooth(登録商標)チップセット等の非接触での通信機能を有することが望ましい。サーバー100は、通信装置154を介して、会話収集デバイス200と通信する。   The communication device 154 includes a network communication device such as a LAN card or a LAN adapter. Note that when receiving data from the conversation collection device 200 during a meeting or the like, it is desirable to have a non-contact communication function such as a wireless LAN card or a Bluetooth (registered trademark) chipset. The server 100 communicates with the conversation collection device 200 via the communication device 154.

表示デバイス156は、液晶表示デバイスなどから構成される。表示ドライバー155は、CPU151が適切なプログラムを実行することによって生成した情報に基づいて、表示デバイス156において表示させるための画像情報を生成する。表示ドライバー155は、図5に示されたようにハードウェアとして設けられていてもよいし、CPU151が適切なプログラムを実行することによって、ソフトウェアとして設けられてもよい。   The display device 156 includes a liquid crystal display device. The display driver 155 generates image information to be displayed on the display device 156 based on information generated by the CPU 151 executing an appropriate program. The display driver 155 may be provided as hardware as illustrated in FIG. 5, or may be provided as software by the CPU 151 executing an appropriate program.

入力部157は、たとえば、タッチセンサ、キーボード、マウスなどの入力装置によって実現される。   The input unit 157 is realized by an input device such as a touch sensor, a keyboard, and a mouse, for example.

記憶部160は、CPU151が実行するプログラムを記憶するプログラム記憶部161と、サーバー100が本実施の形態において説明される機能を実現するために必要とされる種々のデータを記憶するデータ記憶部162とを含む。   The storage unit 160 includes a program storage unit 161 that stores a program executed by the CPU 151, and a data storage unit 162 that stores various data required for the server 100 to realize the functions described in the present embodiment. Including.

議事録作成支援システムにおいて、図2に破線で囲んで示したライフログ生成システム900のタグ生成部910、データ保存部920、および議事録作成システム800の各構成要素は、たとえばサーバー100によって実現される。タグ生成部910、検索部810、特定発言者特定部830、会話集中度算出部840、抽出部850、優先度設定部860、リンク生成部870、および、議事録作成部880は、たとえばCPU151が適切なプログラムを実行することによって、実現される。データ保存部920は、たとえば記憶部260によって実現される。入力部820は、たとえば入力部157や通信装置154によって、実現される。   In the minutes creation support system, each component of the tag creation unit 910, the data storage unit 920, and the minutes creation system 800 of the life log creation system 900 shown by a broken line in FIG. The The tag generation unit 910, the search unit 810, the specific speaker identification unit 830, the conversation concentration calculation unit 840, the extraction unit 850, the priority setting unit 860, the link generation unit 870, and the minutes creation unit 880 are, for example, the CPU 151. This is realized by executing an appropriate program. The data storage unit 920 is realized by the storage unit 260, for example. The input unit 820 is realized by the input unit 157 and the communication device 154, for example.

[会話成立の検出]
次に、議事録作成支援システムにおいて、参加者同士の会話の成立がどのように検出されるかについて、説明する。
[Conversation detection]
Next, how the establishment of a conversation between participants is detected in the minutes creation support system will be described.

図6は、会議の風景の一例を模式的に示す図である。
図6を参照して、会議には、参加者300A〜300Fの6人が参加している。なお、図6は、長机の周りに座る6人の参加者300A〜300Fを上方から見た図に相当する。そして、参加者300A〜300Fは、各自会話収集デバイス200(会話収集デバイス200A〜200F)を装着している。なお、図6では、理解を容易にするため、会話収集デバイス200A〜200Fが参加者300A〜300Fに対して大きめに記載されている。
FIG. 6 is a diagram schematically illustrating an example of a meeting scene.
Referring to FIG. 6, six participants 300 </ b> A to 300 </ b> F participate in the conference. In addition, FIG. 6 is equivalent to the figure which looked at six participants 300A-300F sitting around a long desk from the top. The participants 300A to 300F wear their own conversation collection devices 200 (conversation collection devices 200A to 200F). In FIG. 6, the conversation collection devices 200 </ b> A to 200 </ b> F are shown larger than the participants 300 </ b> A to 300 </ b> F for easy understanding.

会話収集デバイス200の赤外線送受信部202は、指向性が高い。そして、各会話収集デバイス200の赤外線送受信部202は、他の会話収集デバイス200の赤外線送受信部202と対向する状態となって初めて当該他の会話収集デバイス200の赤外線送受信部202と通信可能になる。   The infrared transmission / reception unit 202 of the conversation collection device 200 has high directivity. The infrared transmission / reception unit 202 of each conversation collection device 200 can communicate with the infrared transmission / reception unit 202 of the other conversation collection device 200 only when facing the infrared transmission / reception unit 202 of the other conversation collection device 200. .

図6では、参加者300Aと参加者300Dが対向することにより、会話収集デバイス200Aと会話収集デバイス200Dが対向し、これにより、赤外線送受信部202Aと赤外線送受信部202Dが矢印R1で示されるような経路に沿って通信可能になる。会話収集デバイス200Aは、赤外線送受信部202Aが赤外線送受信部202Dの個別IDを受信したことを、受信した時刻情報とともにデータ保存部920へ送信する。また、会話収集デバイス200Dは、赤外線送受信部202Dが赤外線送受信部202Aの個別IDを受信したことを、受信した時刻情報とともにデータ保存部920へ送信する。   In FIG. 6, when the participant 300A and the participant 300D face each other, the conversation collection device 200A and the conversation collection device 200D face each other, so that the infrared transmission / reception unit 202A and the infrared transmission / reception unit 202D are indicated by an arrow R1. Communication is possible along the route. The conversation collection device 200A transmits to the data storage unit 920 together with the received time information that the infrared transmission / reception unit 202A has received the individual ID of the infrared transmission / reception unit 202D. In addition, the conversation collection device 200D transmits to the data storage unit 920 together with the received time information that the infrared transmission / reception unit 202D has received the individual ID of the infrared transmission / reception unit 202A.

会話集中度算出部840は、同じ時刻に、互いに相手の個別IDを受信した会話収集デバイス200の組が存在するか否かを判断する。そして、そのような組が存在すると判断すると、当該の組の双方に対応する参加者の間で、会話が成立していると判断する。つまり、たとえば、上記の検出例によれば、会話集中度算出部840は、会話収集デバイス200Aに対応する参加者と会話収集デバイス200Dに対応する参加者との間で、会話が成立していると判断する。   The conversation concentration degree calculation unit 840 determines whether there is a set of conversation collection devices 200 that have received the individual IDs of the other party at the same time. If it is determined that such a group exists, it is determined that a conversation is established between the participants corresponding to both of the groups. That is, for example, according to the above detection example, the conversation concentration degree calculation unit 840 establishes a conversation between a participant corresponding to the conversation collection device 200A and a participant corresponding to the conversation collection device 200D. Judge.

会話集中度算出部840は、上記のように、いつ、どの参加者の間で、会話が成立しているかを検出できる。これにより、会話集中度算出部840は、会議における、参加者の会話状態の時間変化を表す情報を生成できる。図7は、生成される会話状態の一例を模式的に示す図である。   As described above, the conversation concentration degree calculation unit 840 can detect when and among the participants the conversation is established. Thereby, the conversation concentration degree calculation part 840 can generate | occur | produce the information showing the time change of a participant's conversation state in a meeting. FIG. 7 is a diagram schematically illustrating an example of a conversation state that is generated.

図7の会話状態では、ST1〜ST10の会話(発話)部分が示されている。
図7に示された会議では、Aさん、Bさん、Cさん、Dさんの4人の参加者が示されている。ST1は、Aさんと、Bさん、Cさん、および、Dさんのそれぞれとの間で短時間ずつ会話が成立した状態を示す。
In the conversation state of FIG. 7, the conversation (speech) part of ST1 to ST10 is shown.
In the conference shown in FIG. 7, four participants A, B, C, and D are shown. ST1 shows a state in which a conversation is established for a short time between Mr. A and each of Mr. B, Mr. C, and Mr. D.

ST2は、AさんとBさんの間で会話が成立し、かつ、BさんからAさんに話しかけている状態を示す。会話が成立した参加者の間で、どちらからどちらに話しかけているかは、両者のいずれのマイク201で音声が取得されたかによって判断される。つまり、図7では、ST2の期間中、Bさんの装着する会話収集デバイス200のマイク201において音声が検出されたことを示している。   ST2 shows a state in which a conversation is established between Mr. A and Mr. B, and Mr. B is talking to Mr. A. Which party is talking to which participant among the participants having a conversation is determined based on which microphone 201 of both of them has acquired the voice. That is, FIG. 7 shows that sound is detected in the microphone 201 of the conversation collection device 200 worn by Mr. B during the period of ST2.

なお、会話集中度算出部840は、マイク201によって取得された音声データに対して、所定の音量のフィルタを用いて、取得された音声から環境音を分離して、会話収集デバイス200を装着した者が声を出したか否かを判断することが好ましい。さらに、会話集中度算出部840は、各会話収集デバイス200を装着した者の音声データをサンプルとして取得し、当該者の声と同定できる音声データが検出された期間のみ、当該者が発言した期間と判断しても良い。   Note that the conversation concentration degree calculation unit 840 uses the filter of a predetermined volume for the voice data acquired by the microphone 201 to separate the environmental sound from the acquired voice, and wears the conversation collection device 200. It is preferable to determine whether or not the person has made a voice. Further, the conversation concentration degree calculation unit 840 acquires voice data of a person wearing each conversation collection device 200 as a sample, and a period during which the person speaks only during a period in which voice data that can be identified as the voice of the person is detected. You may judge.

ST3は、AさんとBさんの間で会話が成立し、かつ、AさんからBさんに話しかけている状態を示す。ST4とST5は、CさんとDさんの間で会話が成立し、かつ、CさんからDさんへの発言とDさんからCさんへの発言が交互に頻繁に行なわれた状態を示す。ST6とST7は、BさんとDさんの間で会話が成立し、かつ、BさんからDさんへの発言とDさんからBさんへの発言とが交互に頻繁に行なわれた状態を示す。ST8は、AさんとCさんの間で会話が成立し、かつ、CさんからAさんに話しかけている状態を示す。ST9は、AさんとCさんの間で会話が成立し、かつ、AさんからCさんに話しかけている状態を示す。ST10は、AさんとBさんの間で会話が成立し、かつ、BさんからAさんに話しかけている状態を示す。   ST3 shows a state in which a conversation is established between Mr. A and Mr. B, and Mr. A is talking to Mr. B. ST4 and ST5 indicate a state in which a conversation is established between Mr. C and Mr. D, and a statement from Mr. C to Mr. D and a statement from Mr. D to Mr. C are frequently performed alternately. ST6 and ST7 show a state in which a conversation is established between Mr. B and Mr. D, and a statement from Mr. B to Mr. D and a statement from Mr. D to Mr. B are alternately performed frequently. ST8 shows a state in which a conversation is established between Mr. A and Mr. C, and Mr. C is talking to Mr. A. ST9 shows a state in which a conversation is established between Mr. A and Mr. C and Mr. A is talking to Mr. C. ST10 shows a state in which a conversation is established between Mr. A and Mr. B, and Mr. B is speaking to Mr. A.

会話集中度算出部840は、各会話収集デバイス200で取得され、データ保存部920に保存された情報に基づいて、図7に示されたような会話状態とともに、図8に示されるような、各参加者の会話時間を算出することができる。   Based on the information acquired by each conversation collection device 200 and stored in the data storage unit 920, the conversation concentration degree calculation unit 840 includes the conversation state as illustrated in FIG. The conversation time of each participant can be calculated.

図8は、生成される各参加者の会話時間の一例を模式的に示す図である。
図8では、Aさん、Bさん、Cさん、Dさんのそれぞれについて、誰から誰に、どのぐらいの長さ、発言をしたかが示されている。図8において示された例は、図7に示された会議とは別の会議における会話時間が示されているものとする。そして、図8では、ある会議についての、各参加者の、各相手に対する発言の時間の和が示されている。つまり、たとえば、AさんからBさんへの当該会議中の発言時間の合計時間は、3分である。また、BさんからAさんへの当該会議中の発言時間の合計時間は、2分である。本明細書では、会話時間とは、参加者間で会話が成立した時間を意味する。つまり、2者間で言えば、発言を行なった時間と発言を受けた時間の和とする。たとえば図8の例では、AさんとBさんの間での会話時間は5分である。このうち、Aさんについては、(Bさんに対して)発言を行なった時間は3分である。また、(Bさんから)発言を受けた時間は2分である。
FIG. 8 is a diagram schematically illustrating an example of the conversation time of each participant that is generated.
FIG. 8 shows who, from whom to whom, how long, and how much each of Mr. A, Mr. B, Mr. C, and Mr. D made a statement. In the example shown in FIG. 8, it is assumed that the conversation time in a conference different from the conference shown in FIG. 7 is shown. FIG. 8 shows the sum of speech time of each participant for each partner for a certain conference. That is, for example, the total speech time during the conference from Mr. A to Mr. B is 3 minutes. Further, the total speech time during the conference from B to A is 2 minutes. In this specification, the conversation time means the time when conversation is established between participants. In other words, when speaking between two parties, it is the sum of the time when the speech was made and the time when the speech was received. For example, in the example of FIG. 8, the conversation time between Mr. A and Mr. B is 5 minutes. Among these, about Mr. A, the time spent speaking (to Mr. B) is 3 minutes. Also, it takes 2 minutes to speak (from Mr. B).

また、本明細書では、一方の参加者から他方の参加者へ発言が行なわれた時間を、一方の参加者の発話時間と呼ぶ場合がある。さらに、一方の参加者から他方の参加者へ発言が行なわれた時間を、他方の参加者の着話時間と呼ぶ場合がある。   Further, in this specification, the time when speech is made from one participant to the other participant may be referred to as the speech time of one participant. Furthermore, the time when speech is made from one participant to the other participant may be referred to as the talk time of the other participant.

本実施の形態では、会話集中度算出部840は、ある会議の各参加者について、会話の相手、発言をした時間、および、発言を受けた時間が特定されることにより、図9に示されるようなマトリクスを作成し、これに基づいて、当該会議における各参加者の会話集中度を算出することができる。図9は、会話集中度の算出方法を説明するための図である。   In the present embodiment, the conversation concentration degree calculation unit 840 is shown in FIG. 9 by specifying the conversation partner, the time of speaking, and the time of speaking for each participant of a certain meeting. Such a matrix can be created, and based on this matrix, the conversation concentration level of each participant in the conference can be calculated. FIG. 9 is a diagram for explaining a method of calculating the conversation concentration degree.

図9には、会議の参加者として、「田中」「伊藤」「井上」「石田」「佐藤」「小林」の6人が挙げられている。そして、図9における上部の表には、各参加者の発話時間と着話時間が分単位で示されている。縦方向に、各参加者の、各参加者に対する発話時間が示されている。たとえば、井上さんについては、田中さんに対する発話時間は3分であり、伊藤さんに対する発話時間は0分であり、井上さん自身に対する発話時間は0分であり、石田さんに対する発話時間は1分であり、佐藤さんに対する発話時間は0分であり、小林さんに対する発話時間は0分である。   In FIG. 9, six participants “Tanaka”, “Ito”, “Inoue”, “Ishida”, “Sato”, and “Kobayashi” are listed. In the upper table in FIG. 9, the speech time and the call arrival time of each participant are shown in minutes. In the vertical direction, the utterance time for each participant is shown. For example, for Mr. Inoue, the utterance time for Mr. Tanaka is 3 minutes, the utterance time for Mr. Ito is 0 minutes, the utterance time for Mr. Inoue himself is 0 minutes, and the utterance time for Mr. Ishida is 1 minute. Yes, the utterance time for Mr. Sato is 0 minutes, and the utterance time for Mr. Kobayashi is 0 minutes.

会話集中度算出部840は、全参加者の発話時間の合計を算出する。図9の例では、27分である。   The conversation concentration degree calculation unit 840 calculates the total utterance time of all participants. In the example of FIG. 9, it is 27 minutes.

また、会話集中度算出部840は、全参加者の発話時間の合計を算出する。図9の例では、田中さんについては9分であり、伊藤さんについては3分であり、井上さんについては4分であり、石田さんについては7分であり、佐藤さんについては3分であり、小林さんについては1分である。   In addition, the conversation concentration degree calculation unit 840 calculates the total utterance time of all participants. In the example of Figure 9, Tanaka-san is 9 minutes, Ito-san is 3 minutes, Inoue-san is 4 minutes, Ishida-san is 7 minutes, and Sato-san is 3 minutes. Kobayashi-san is 1 minute.

また、会話集中度算出部840は、各参加者の着話時間の合計を算出する。図9の例では、田中さんについては10分であり、伊藤さんについては3分であり、井上さんについては4分であり、石田さんについては5分であり、佐藤さんについては3分であり、小林さんについては2分である。   In addition, the conversation concentration degree calculation unit 840 calculates the sum total of the talk time of each participant. In the example of FIG. 9, Tanaka-san is 10 minutes, Ito-san is 3 minutes, Inoue-san is 4 minutes, Ishida-san is 5 minutes, and Sato-san is 3 minutes. Kobayashi-san is 2 minutes.

また、会話集中度算出部840は、各参加者の発話集中度を算出する。発話集中度とは、全参加者の発話時間の合計に対する各参加者の発話時間の割合である。図9の例では、田中さんについては0.33であり、伊藤さんについては0.11であり、井上さんについては0.15であり、石田さんについては0.26であり、佐藤さんについては0.11であり、小林さんについては0.04である。   In addition, the conversation concentration degree calculation unit 840 calculates the utterance concentration degree of each participant. The utterance concentration level is the ratio of the utterance time of each participant to the total utterance time of all participants. In the example of FIG. 9, Tanaka-san is 0.33, Ito-san is 0.11, Inoue-san is 0.15, Ishida-san is 0.26, and Sato-san is 0.11 and 0.04 for Mr. Kobayashi.

また、会話集中度算出部840は、各参加者の着話集中度を算出する。着話集中度とは、全参加者の発話時間の合計に対する各参加者の着話時間の割合である。図9の例では、田中さんについては0.37であり、伊藤さんについては0.11であり、井上さんについては0.15であり、石田さんについては0.19であり、佐藤さんについては0.11であり、小林さんについては0.07である。   Further, the conversation concentration level calculation unit 840 calculates the incoming call concentration level of each participant. The incoming call concentration level is the ratio of the incoming time of each participant to the total of the outgoing time of all participants. In the example of FIG. 9, Mr. Tanaka is 0.37, Mr. Ito is 0.11, Mr. Inoue is 0.15, Mr. Ishida is 0.19, Mr. Sato is 0.11 and 0.07 for Mr. Kobayashi.

また、会話集中度算出部840は、各参加者の会話集中度を算出する。会話集中度とは、発話集中度と着話集中度の和である。図9の例では、田中さんについては0.7である。田中さんであれば、発話時間の総和は9分、着話時間の総和は10分である。また、会議全体の発話時間の合計は27分である。したがって、田中さんの会話集中度は、「(9+10)/27」に従って、約0.7と算出される。また、伊藤さんについては0.22であり、井上さんについては0.3であり、石田さんについては0.45であり、佐藤さんについては0.22であり、小林さんについては0.11である。   Moreover, the conversation concentration degree calculation part 840 calculates the conversation concentration degree of each participant. The conversation concentration level is the sum of the utterance concentration level and the incoming call concentration level. In the example of FIG. 9, Tanaka is 0.7. For Mr. Tanaka, the total speech time is 9 minutes and the total speech time is 10 minutes. The total utterance time for the entire conference is 27 minutes. Therefore, Tanaka's conversation concentration degree is calculated as approximately 0.7 according to “(9 + 10) / 27”. It is 0.22 for Mr. Ito, 0.3 for Mr. Inoue, 0.45 for Mr. Ishida, 0.22 for Mr. Sato, and 0.11 for Mr. Kobayashi. is there.

[音声データの抽出]
本実施の形態では、特定発言者特定部830は、各参加者の会話集中度に基づいて、当該会議における特定発言者を特定する。特定発言者とは、当該会議における中心的な参加者と考えられる。図9の例では、会話集中度が最も高い田中さんが、特定発言者として特定される。
[Extract audio data]
In the present embodiment, specific speaker specifying unit 830 specifies a specific speaker in the conference based on the conversation concentration level of each participant. A specific speaker is considered a central participant in the conference. In the example of FIG. 9, Mr. Tanaka with the highest conversation concentration is identified as the specific speaker.

そして、本実施の形態では、抽出部850は、データ保存部920に保存された会話の音声データから、特定発言者がした発言の音声データおよび特定発言者が受けた発言の音声データを、当該会議における重要な発言として抽出する。図9の例では、田中さんが各参加者に対してした発言と田中さんが受けた発言の音声データが抽出される。図10は、図9に示された各者の発言のうち、抽出部850によって抽出される発言に対応する音声データの内容を模式的に示す図である。   In this embodiment, the extraction unit 850 extracts the voice data of the speech made by the specific speaker and the voice data of the speech received by the specific speaker from the voice data of the conversation stored in the data storage unit 920. Extract as important remarks at the meeting. In the example of FIG. 9, voice data of the speech that Mr. Tanaka gave to each participant and the speech received by Mr. Tanaka are extracted. FIG. 10 is a diagram schematically showing the content of the voice data corresponding to the speech extracted by the extraction unit 850 among the speeches of each person shown in FIG.

なお、図9に示された会議では、実際に重要であった発言は、太枠で囲われた、石田さんから田中さんに対する発言(合計3分間)と、佐藤さんから田中さんに対する発言(合計2分間)と、田中さんから石田さんに対する発言(合計3分間)であったとする。図10に示された結果によれば、図9において重要であると示された発言は、すべて、抽出されている。   In the meeting shown in Fig. 9, the remarks that were actually important were the remarks from Mr. Ishida to Mr. Tanaka (3 minutes in total) and the remarks from Mr. Sato to Mr. Tanaka (total). 2 minutes) and Tanaka-san's remarks to Mr. Ishida (3 minutes in total). According to the result shown in FIG. 10, all of the statements shown as important in FIG. 9 have been extracted.

[議事録作成処理]
図11は、議事録作成システムにおいて実行される議事録作成処理のフローチャートである。議事録作成処理は、たとえばサーバー100にインストールされた議事録作成アプリケーションとして実現される。
[Meeting process]
FIG. 11 is a flowchart of the minutes creation process executed in the minutes creation system. The minutes creation process is realized as a minutes creation application installed in the server 100, for example.

議事録作成処理では、まずステップSA10において、入力部820が、ユーザーによる議事録を作成する会議に関する情報の入力を受付ける。具体的には、会議名、会議の日時、会議の開催場所、会議の参加者等の必要なプロパティーが、ユーザーによって入力される。   In the minutes creation process, first, in step SA10, the input unit 820 accepts input of information related to the meeting for creating the minutes by the user. Specifically, necessary properties such as a meeting name, a meeting date and time, a meeting place, and a meeting participant are input by the user.

なお、サーバー100には、たとえば図12に示されるように、予め、タグ情報として、会議に関する情報(日時、場所、参加者、等)が登録される。そして、ステップSA10では、入力部820は、登録された会議に関する情報の中から会議を指定する情報の入力を受付けて、ステップSA20へ処理を進める。   For example, as shown in FIG. 12, information related to the conference (date and time, location, participants, etc.) is registered in the server 100 as tag information. In step SA10, input unit 820 accepts input of information specifying a meeting from the registered information related to the meeting, and advances the process to step SA20.

図12は、会議ごとに予め登録されるタグ情報の一例を示す図である。
図12を参照して、データ保存部920には、各会議の情報として、会議ID、開始日時、終了日時、場所、参加者(参加者ID)、目的、および、会議形態が登録されている。会議IDは、会議を識別するための情報であり、会議ごとに固有の値が設定される。開始日時は、会議の開始の時刻を特定する情報である。終了日時は、会議の終了の時刻を特定する情報である。また、場所、参加者、および、目的は、それぞれ、会議の場所、参加者、および、目的を特定する情報である。特に、参加者については、たとえば参加者IDで特定される。なお、本実施の形態では、各参加者IDは、各参加者が装着する会話収集デバイス200の個別IDに関連付けられている。
FIG. 12 is a diagram illustrating an example of tag information registered in advance for each conference.
Referring to FIG. 12, in data storage unit 920, the conference ID, start date / time, end date / time, location, participant (participant ID), purpose, and conference form are registered as information of each conference. . The conference ID is information for identifying a conference, and a unique value is set for each conference. The start date and time is information for specifying the start time of the conference. The end date and time is information for specifying the end time of the conference. The place, the participant, and the purpose are information for specifying the meeting place, the participant, and the purpose, respectively. In particular, the participant is specified by, for example, a participant ID. In the present embodiment, each participant ID is associated with the individual ID of the conversation collection device 200 worn by each participant.

会議形態としては、「自己想定」と「システム評価」の2種類の情報が格納される。「自己想定」は、たとえば管理者等によって入力される情報であり、「システム評価」は、たとえば、図7を参照して説明したような会話状態等に基づいて判定される評価内容である。たとえば、会話状態が、ある特定の参加者の会話集中度が高く、他の参加者の会話集中度がある程度低い値である場合には、「質疑応答型」と判定される。また、たとえば、ある特定の参加者の会話集中度が特に高く、残りの参加者の会話集中度がほぼ0に近い値である場合には、「通知通達型」と判定される。また、たとえば、参加者の会話集中度がまんべんなく同じような値である場合には、「対話型」等の判定がなされる。   As a meeting form, two types of information “self-assuming” and “system evaluation” are stored. “Self-assuming” is information input by an administrator or the like, for example, and “system evaluation” is evaluation content determined based on, for example, the conversation state described with reference to FIG. For example, when the conversation state has a high conversation concentration level of a certain participant and the conversation concentration levels of other participants are low to some extent, it is determined as “Q & A type”. Further, for example, when the conversation concentration level of a particular participant is particularly high and the conversation concentration levels of the remaining participants are values close to 0, it is determined as “notification notification type”. Further, for example, when the conversation concentration level of the participants is the same value, the determination of “interactive” or the like is made.

ステップSA20では、会話集中度算出部840は、データ保存部920から、ステップSA10で指定された会議のライフログ(音声データ)を検索して、ステップSA30へ処理を進める。   In step SA20, the conversation concentration degree calculation unit 840 searches the life log (voice data) of the conference designated in step SA10 from the data storage unit 920, and advances the process to step SA30.

たとえば、会議が指定されると、図12に示されているように、当該会議に対応する開始日時、終了日時、および、参加者IDが特定される。たとえば、図12においてC1で示された会議(会議IDが「POE−0003」)が指定されると、当該会議に対応する開始日時(2011年8月27日10時00分)、終了日時(2011年8月27日11時10分)、参加者ID(10201,10850,10430,および,8431)が特定される。   For example, when a conference is specified, as shown in FIG. 12, the start date / time, end date / time, and participant ID corresponding to the conference are specified. For example, when the conference indicated by C1 in FIG. 12 (conference ID is “POE-0003”) is designated, the start date / time (August 27, 2011, 10:00) and the end date / time ( On August 27, 2011, 11:10), the participant IDs (10201, 10850, 10430, and 8431) are specified.

会話集中度算出部840は、特定されたこれらの情報に基づいて、開始日時から終了日時までの、参加者IDが行なった発言または受けた発言のすべての音声データを、データ保存部920に登録されている音声データから検索する。   The conversation concentration degree calculation unit 840 registers, in the data storage unit 920, all the voice data of the speech made by the participant ID or the received speech from the start date to the end date based on the specified information. Search from stored audio data.

以下、より具体的に説明する。図13は、サーバー100の表示デバイス156に表示される画面の一例を示す図である。会議を指定する情報が入力されると、検索部810は、図13の画面500に示すように、当該指定された会議のタグ情報を表示する。そして、ユーザー(たとえば、議事録作成担当者)は、タグ情報を確認し、当該会議についての議事録の作成を進めることを希望する場合には、さらに、画面500内のリンク作成ボタン501を操作する。当該操作に応じて、検索部810は、上記したように、当該会議のタグ情報によって特定される音声データを、検索する。   More specific description will be given below. FIG. 13 is a diagram illustrating an example of a screen displayed on the display device 156 of the server 100. When information specifying a conference is input, the search unit 810 displays tag information of the specified conference as shown in a screen 500 in FIG. Then, when the user (for example, the minutes creator) confirms the tag information and wishes to proceed with the creation of the minutes for the meeting, the user further operates the link creation button 501 in the screen 500. To do. In response to the operation, the search unit 810 searches for audio data specified by the tag information of the conference as described above.

つまり、ステップSA20の処理によれば、会議の出席者について記録されたすべての音声データが、検索結果となる。   In other words, according to the process in step SA20, all audio data recorded for the attendees of the meeting becomes the search result.

なお、タグ情報における会議の場所に基づいて、当該会議の場所から接続される無線LANが特定されても良い。そして、このように特定されたLANにおいて、開始日時から終了日時まで取得(当該LANのサーバーに登録)された音声データが、ステップSA20の検索結果とされる場合も有り得る。   Note that the wireless LAN connected from the conference location may be specified based on the conference location in the tag information. In the LAN identified in this way, the voice data acquired (registered in the LAN server) from the start date to the end date may be used as the search result in step SA20.

次に、ステップSA30では、会話集中度算出部840は、ステップSA20で検索結果として得られた音声データを利用して、当該会議について、図7や図8を参照して説明したような会話状態(参加者間の有向グラフ)を作成して、ステップSA40へ処理を進める。   Next, in step SA30, the conversation concentration degree calculation unit 840 uses the voice data obtained as a search result in step SA20, and the conversation state as described with reference to FIGS. (Directed graph between participants) is created, and the process proceeds to step SA40.

ステップSA40では、会話集中度算出部840は、図9を参照して説明したように、各参加者の会話集中度を算出して、ステップSA50へ処理を進める。   In step SA40, the conversation concentration degree calculation unit 840 calculates the conversation concentration degree of each participant as described with reference to FIG. 9, and advances the processing to step SA50.

ステップSA50では、特定発言者特定部830は、ステップSA40で算出した各参加者の会話集中度に基づいて、特定発言者を特定して、ステップSA60へ処理を進める。   In step SA50, the specific speaker specifying unit 830 specifies a specific speaker based on the conversation concentration level of each participant calculated in step SA40, and proceeds to step SA60.

ステップSA60では、抽出部850は、ステップSA20の検索結果から、特定発言者が行なった発言と特定発言者に対する発言に対応する音声データを抽出して、ステップSA70へ処理を進める。   In step SA60, the extraction unit 850 extracts voice data corresponding to the utterance made by the specific speaker and the utterance to the specific speaker from the search result of step SA20, and the process proceeds to step SA70.

ステップSA70では、リンク生成部870が、ステップSA60で抽出した音声データのそれぞれにリンクするためのリンクデータを生成し、さらに、議事録作成部880が、図13の画面500のような議事録の作成対象となっている会議についての画面データに、作成されたリンクデータを追加することにより、議事録ファイルを作成して、議事録作成処理を終了する。   In step SA70, the link generation unit 870 generates link data for linking to each of the audio data extracted in step SA60, and the minutes creation unit 880 further creates a minutes such as the screen 500 in FIG. A minutes file is created by adding the created link data to the screen data for the meeting to be created, and the minutes creation process is terminated.

図14は、議事録ファイルの表示例を示す図である。
図14を参照して、議事録ファイルは、画面510のような表示画面のデータを含む。画面510では、対象となる会議の日時、場所、参加者、および、データリンクを含む。画面510は、図13の画面500に、データリンクが追加された画面である。日時、場所、参加者は、図12に示されたようなタグ情報から取得される。
FIG. 14 is a diagram illustrating a display example of a minutes file.
Referring to FIG. 14, the minutes file includes display screen data such as screen 510. The screen 510 includes the date and time of the target meeting, location, participants, and data link. The screen 510 is a screen in which a data link is added to the screen 500 of FIG. The date, place, and participant are acquired from the tag information as shown in FIG.

画面510では、会話が成立した参加者の組別のリンクが表示されている。なお、リンクは、下線を付されて表示されている。また、画面510のデータリンクにおける参加者の組の表示の順序は、たとえば会話時間の長い順序とすることができる。つまり、画面510は、田中さんと石田さんの組の会話が、会話時間(石田さんとの会話についての、田中さんの発話時間と着話時間の和)の最も長い組である場合を示している。   On the screen 510, a link for each group of participants who has established a conversation is displayed. The link is displayed with an underline. In addition, the display order of the group of participants in the data link on the screen 510 can be, for example, the order in which conversation time is long. That is, the screen 510 shows the case where the conversation between Mr. Tanaka and Mr. Ishida is the longest conversation time (the sum of Mr. Tanaka's speech time and call arrival time for the conversation with Mr. Ishida). Yes.

なお、データ保存部920では、音声データは、会話が一区切りされるごとに、異なるファイルとして登録されている。具体的には、会話収集デバイス200のCPU251(図4参照)は、マイク201から入力される音声について、所定時間以上の無音期間(または、特定のレベル未満の音声期間)が出現するごとに、異なるファイルで、音声データを生成する。そして、画面510にデータリンクとして表示された各参加者の組のうち、ある組を指定すると、当該組の会話の音声データのそれぞれにリンクする情報が表示される。図15は、各音声データにリンクする情報を表示するための画面の一例を示す図である。   In the data storage unit 920, the audio data is registered as a different file every time a conversation is divided. Specifically, the CPU 251 (see FIG. 4) of the conversation collection device 200 each time a silent period (or an audio period less than a specific level) of a predetermined time or more appears for the voice input from the microphone 201, Generate audio data in different files. Then, when a certain group is designated among the groups of participants displayed as data links on the screen 510, information linked to each of the voice data of the conversation of the group is displayed. FIG. 15 is a diagram illustrating an example of a screen for displaying information linked to each audio data.

図15を参照して、画面520では、田中さんと石田さんの会話の各音声データへのリンクが、当該音声データが取得された時刻を含むように表示されている。サーバー100では、各リンクが選択されると、当該リンクに対応した時刻に記録された音声データが、再生される。なお、ここでいう時刻は、たとえば、音声の取得が開始された時刻である。なお、画面520では、音声データが取得された時刻の順ではなく、たとえば各音声データの再生時間が長い順等、対応する音声データの性質等が所定の条件に従ってソートされて、表示されている。   Referring to FIG. 15, on screen 520, a link to each voice data of the conversation between Tanaka and Mr. Ishida is displayed so as to include the time when the voice data was acquired. In the server 100, when each link is selected, the audio data recorded at the time corresponding to the link is reproduced. Note that the time here is, for example, the time when voice acquisition is started. Note that, on the screen 520, not the order of the time when the sound data is acquired but the properties of the corresponding sound data, such as the order in which the playback time of each sound data is long, is sorted and displayed according to a predetermined condition. .

図14に戻って、画面510では、「そのほかの発言」という文字によって示されるリンクを含む。このリンクは、当該会議において、会話時間の長い順から特定の順序以下の組の発言の音声データに対応する。このようなリンクが選択されると、たとえば、表示デバイス156には、「そのほかの発言」に分類された参加者の組の会話の各音声データへのリンクが表示される。そして、そこに表示された各リンクが選択されると、サーバー100では、当該リンクに対応した音声データが再生される。   Returning to FIG. 14, the screen 510 includes a link indicated by the characters “other remarks”. This link corresponds to speech data of a group of utterances from the longest conversation time to a specific order in the conference. When such a link is selected, for example, the display device 156 displays a link to each audio data of the conversation of the group of participants classified as “other utterances”. When each link displayed there is selected, the server 100 reproduces audio data corresponding to the link.

以上説明した議事録作成処理によれば、図6〜図9等を参照して説明したように、会議における会話の成立に関する状態を検知し、当該検知の結果に基づいて、記録された音声データから音声データを抽出し、議事録の作成に利用される。   According to the minutes creation process described above, as described with reference to FIGS. 6 to 9 and the like, the state relating to the establishment of the conversation in the conference is detected, and the recorded voice data is based on the detection result. Voice data is extracted from the data and used to create the minutes.

これにより、会議で取得された音声すべてではなく、会議において重要と考えられる音声が抽出されて、議事録の作成に利用される。   As a result, not all the voices acquired at the meeting but the voices considered to be important at the meeting are extracted and used to create the minutes.

[変形例等]
(変形例1)
以上説明した本実施の形態において、「会議」とは、議事録の作成対象を言うのであって、特別に集合することを予定されたイベントに限られるものではない。たとえば、オフィスにおいて、当該オフィスにいると想定される人を特定する情報が参加者IDとして特定され、また、オフィスにいる各ユーザーが図3等を参照して説明された会話収集デバイス200を装着し、そして、当該オフィスにおける日常会話が記録された場合にも、本実施の形態によって開示された技術的思想は適用され得る。
[Modifications, etc.]
(Modification 1)
In the present embodiment described above, “meeting” refers to an object for which minutes are to be created, and is not limited to an event that is scheduled to be gathered specially. For example, in an office, information for identifying a person who is assumed to be in the office is specified as a participant ID, and each user in the office wears the conversation collection device 200 described with reference to FIG. And even when the daily conversation in the office is recorded, the technical idea disclosed by this embodiment can be applied.

(変形例2)
会話収集デバイス200によって検出手段の一例が構成される。なお、会話収集デバイスは、図3等を参照して説明されたような形態のものに限定されない。図16は、会話収集デバイスの変形例の外観を示す図である。また、図17は、図16の会話収集デバイスのハードウェア構成の一例を模式的に示す図である。
(Modification 2)
The conversation collection device 200 constitutes an example of detection means. The conversation collection device is not limited to the form described with reference to FIG. FIG. 16 is a diagram illustrating an appearance of a modified example of the conversation collection device. FIG. 17 is a diagram schematically illustrating an example of a hardware configuration of the conversation collection device in FIG. 16.

図16および図17を参照して、会話収集デバイス210は、図4を参照して説明した構成に対して、マイク201と赤外線送受信部202の代わりに、マイク211とカメラ212を含む。   With reference to FIGS. 16 and 17, the conversation collection device 210 includes a microphone 211 and a camera 212 instead of the microphone 201 and the infrared transmission / reception unit 202 in the configuration described with reference to FIG. 4.

会話収集デバイス210では、カメラ212は、会話収集デバイス210を装着している会議の参加者の視線の先に存在するものを撮影する。したがって、会話集中度算出部840は、カメラ212が撮影する画像を既知の顔判別アルゴリズムに従って解析することにより、当該会話収集デバイス210を装着している参加者が誰を見ているのかを特定することができる。   In the conversation collection device 210, the camera 212 captures an image existing ahead of the line of sight of the participant of the conference wearing the conversation collection device 210. Therefore, the conversation concentration degree calculation unit 840 identifies who the participant wearing the conversation collection device 210 is looking at by analyzing an image captured by the camera 212 according to a known face discrimination algorithm. be able to.

さらに、会話集中度算出部840は、上記顔判別アルゴリズムと合わせて、上記画像を解析することによって、会話収集デバイス210を装着している参加者が頷いているか否かを判別することができる。当該判別結果をさらに用いることにより、既知のうなずき理論(岡山県立大学情報システム工学科、渡辺富夫教授の「身体的引き込み技術iRT」等)に基づいて、会話収集デバイス210を装着している参加者が頷いているときに見ている相手を会話の相手と特定するなど、参加者の会話の相手を、より高い精度で、特定することができる。   Furthermore, the conversation concentration degree calculation unit 840 can determine whether the participant wearing the conversation collection device 210 is speaking by analyzing the image together with the face determination algorithm. By further using the discrimination result, the participant wearing the conversation collection device 210 based on the known nod theory (Okayama Prefectural University, Department of Information Systems Engineering, Professor Toshio Watanabe's “Physical Retraction Technology iRT”, etc.) It is possible to identify the other party's conversation partner with higher accuracy, for example, by identifying the other party who is watching while speaking.

また、会話収集デバイス210では、カメラ212がテレビ画面に映った相手を撮影することができる。したがって、会話収集デバイス210において収集される情報は、遠隔地とのテレビ会議においても、会話相手の特定に利用することができる。   Moreover, in the conversation collection device 210, the camera 212 can photograph the other party reflected on the television screen. Therefore, the information collected by the conversation collection device 210 can be used for specifying a conversation partner even in a video conference with a remote place.

(変形例3)
図18は、会話収集デバイス200の他の変形例のハードウェア構成の一例を模式的に示す図である。
(Modification 3)
FIG. 18 is a diagram schematically illustrating an example of a hardware configuration of another modified example of the conversation collection device 200.

本変形例では、会話収集デバイス200は、図4に示された構成に加えて、生体情報検出部203を備える。生体情報検出部203は、会話収集デバイス200を装着したユーザーの心拍数、熱、および/または、皮膚の導電性などの生体情報(バイタルデータ)を検出するためのセンサーである。会話収集デバイス200を装着する参加者は、さらに、当該センサーを、当該センサーが取得するべきデータを取得できる態様で、装着する。   In this modification, the conversation collection device 200 includes a biological information detection unit 203 in addition to the configuration shown in FIG. The biological information detection unit 203 is a sensor for detecting biological information (vital data) such as the heart rate, heat, and / or skin conductivity of the user wearing the conversation collection device 200. The participant who wears the conversation collection device 200 further wears the sensor in such a manner that data to be acquired by the sensor can be acquired.

そして、本変形例では、データ保存部920には、音声データとともに、当該音声データを発した参加者および/または当該音声データの発言を受けた参加者の生体情報も記録される。   In the present modification, the data storage unit 920 also records the biometric information of the participant who has issued the audio data and / or the participant who has received the speech of the audio data, along with the audio data.

このように記録された生体情報は、当該音声データに対応する発言がどのような感情で発せられたか、あるいは、会話相手にどのぐらいのインパクトを与えたかなど、会話の内容や重要度の特定をサポートする情報となり得る。特に、心拍間隔時系列データのパターンから、プレゼンテーションや質疑の区間を識別する研究(「脈拍数を用いた平常/非平常(眠気,緊張)推定方法」NTT)もある。したがって、上記したような生体情報が記録されることにより、会話状態の検知の精度を向上させることができる。   The biometric information recorded in this way is used to specify the content and importance of the conversation, such as how the speech corresponding to the audio data was uttered and how much impact was given to the conversation partner. It can be supporting information. In particular, there is also a study (“normal / non-normal (sleepiness, tension) estimation method using pulse rate” NTT) that identifies presentation and question intervals from the pattern of heartbeat interval time-series data. Therefore, the accuracy of detecting the conversation state can be improved by recording the biological information as described above.

さらに、上記のように記録された生体情報は、会話状態の検知だけでなく、会話の重要度の特定にも利用できる。たとえば、音声データが取得されたときの発言者の心拍数が、当該発言者の定常時の心拍数に対して特定の割合以上上昇している場合には、緊張した状態での発言と考えられる。そのことが分かるように、当該音声データのリンクが表示されても良い。図19は、図15のリンクの表示画面の変形例を示す図である。図19に示された画面530では、10時50分の発言のリンクと10時44分の発言のリンクが、ハートマークを付されて、表示されている。当該ハートマークは、発言した参加者が、上記したような緊張状態で対応する発言を行なったことを示す。   Furthermore, the biometric information recorded as described above can be used not only for detecting the conversation state but also for specifying the importance level of the conversation. For example, when the heart rate of a speaker when voice data is acquired is higher than a specific rate with respect to the normal heart rate of the speaker, the speech is considered to be in a tense state. . As can be seen, a link of the audio data may be displayed. FIG. 19 is a diagram showing a modification of the link display screen of FIG. In the screen 530 shown in FIG. 19, a 10:50 message link and a 10:44 message link are displayed with a heart symbol. The heart mark indicates that the participant who made the speech made the corresponding speech in a tension state as described above.

緊張状態での発言は、重要な内容である可能性が比較的高いと言える。議事録ファイルを再生するユーザーは、このようなハートマークの表示に従って、重要な内容である可能性が比較的高い音声ファイルを優先して再生させることにより、会議の内容を、より早期に把握することが可能となる。   It can be said that there is a relatively high possibility that an utterance in tension is an important content. Users who play the minutes file grasp the contents of the meeting earlier by giving priority to playing audio files that are relatively likely to be important contents according to the display of the heart symbol. It becomes possible.

(変形例4)
図20は、会話収集デバイス200のさらに他の変形例のハードウェア構成の一例を模式的に示す図である。図20の会話収集デバイス220は、図4を参照して説明した会話収集デバイス200に対して、赤外線送受信部202の代わりに、電子コンパス204とGPS(Global Positioning System)コントローラー205を含む。
(Modification 4)
FIG. 20 is a diagram schematically illustrating an example of a hardware configuration of still another modified example of the conversation collection device 200. The conversation collection device 220 of FIG. 20 includes an electronic compass 204 and a GPS (Global Positioning System) controller 205 instead of the infrared transmission / reception unit 202 with respect to the conversation collection device 200 described with reference to FIG.

電子コンパス204は、磁気センサーを含み、会話収集デバイス220の向きを検出する。GPSコントローラー205は、GPS信号または基地局からの位置信号を受信することにより、会話収集デバイス220の位置情報を取得する。   The electronic compass 204 includes a magnetic sensor and detects the orientation of the conversation collection device 220. The GPS controller 205 acquires position information of the conversation collection device 220 by receiving a GPS signal or a position signal from the base station.

本変形例では、データ保存部920において、(赤外線送受信部202によって取得される個別IDの代わりに)会話収集デバイス220の位置情報と向き情報が登録される。これにより、議事録作成支援システムでは、データ保存部920において、各参加者(会話収集デバイス220を装着しているユーザー)の位置情報と向き情報が取得される。これにより、各ユーザーの位置と向きを特定できる。これにより、近傍(所定の距離範囲内)に位置し、かつ、向かい合っているユーザーの組を特定できる。そして、会話集中度算出部840は、当該組において、一方のユーザーの装着する会話収集デバイス220のマイク201において音声が検出されたことを条件として、当該組のユーザーの間で会話が成立していると特定することができる。   In this modification, the data storage unit 920 registers the position information and orientation information of the conversation collection device 220 (instead of the individual ID acquired by the infrared transmission / reception unit 202). Thus, in the minutes creation support system, the data storage unit 920 acquires the position information and orientation information of each participant (the user wearing the conversation collection device 220). Thereby, the position and orientation of each user can be specified. Thereby, it is possible to identify a set of users that are located in the vicinity (within a predetermined distance range) and face each other. Then, the conversation concentration degree calculation unit 840 establishes a conversation between the users of the set on the condition that the voice is detected in the microphone 201 of the conversation collection device 220 worn by one user in the set. Can be identified.

(変形例5)
以上説明した本実施の形態において、参加者ごとに重みの値が設定されることによる重み付けがなされ、特定発言者特定部830は、当該重み付けをさらに利用して、特定発言者を特定することができる。
(Modification 5)
In the present embodiment described above, weighting is performed by setting a weight value for each participant, and the specific speaker specifying unit 830 can further specify the specific speaker by further using the weighting. it can.

重み付けによって付される重みの値としては、たとえば、職場における人事情報が利用される。つまり、管理職の人間は、職場における多くの決定権を有するため、会議において影響力の大きい発言をすることが多い。たとえば、部長の職にある参加者は、他の参加者と比較して2倍の重み値を有するとする。特定発言者特定部830は、各参加者の会話集中度と各参加者に付された重み値との積を算出し、当該算出結果が最も大きい値となった参加者を特定発言者と決定することができる。   For example, personnel information in the workplace is used as the weight value assigned by weighting. In other words, people in managerial positions often make decisions at meetings because they have many decisions in the workplace. For example, it is assumed that a participant in the position of general manager has a weight value twice that of other participants. The specific speaker specifying unit 830 calculates the product of the conversation concentration level of each participant and the weight value assigned to each participant, and determines the participant having the largest value as the specific speaker. can do.

また、会議の議題等に応じて、会議ごとに、各参加者に付される重みの値が変更される場合も有り得る。   Further, the weight value assigned to each participant may be changed for each conference according to the agenda of the conference.

(変形例6)
会話集中度算出部840が特定発言者の特定の際に利用される重みの値は、発言が生じた時間帯に応じて設定される場合も有り得る。たとえば2時間の会議では、後半1時間における発言は、前半1時間における発言よりも、会議の場が成熟している等の理由によって重要度が高い場合がある。そこで、図9を参照して説明したような着話時間や発話時間の算出の際に、たとえば、後半1時間における発言についての着話時間および発話時間の長さは1.5倍されて、会話集中度の算出に利用されても良い。なお、この場合、前半1時間における発言についての着話時間および発話時間の長さは、実際の時間のままとされる。
(Modification 6)
The value of the weight used when the conversation concentration degree calculation unit 840 identifies a specific speaker may be set according to the time zone when the speech occurs. For example, in a two-hour meeting, the utterances in the latter half hour may be more important than the utterances in the first half hour due to reasons such as the meeting place being mature. Therefore, when calculating the speech time and speech time as described with reference to FIG. 9, for example, the length of the speech time and speech time for speech in the latter half 1 hour is multiplied by 1.5, It may be used to calculate the conversation concentration level. In this case, the length of the talk time and the talk time for the speech in the first half hour is left as the actual time.

これにより、発言が生じた時間帯に応じて、音声データに重みを付けて、特定発言者の特定を行なうことができる。また、発言が生じた時間帯に応じて、発言をした参加者に、当該参加者の音声が議事録に利用される際の優先度を付することができる。   As a result, it is possible to specify the specific speaker by weighting the voice data according to the time zone in which the speech has occurred. Moreover, the priority at the time of using the audio | voice of the said participant for the minutes can be attached to the participant who made the speech according to the time zone when the speech occurred.

(その他の変形例等)
ブレインストーミングのような、意見交換型会議は、議事録を作成されることは少なく、その場で出たアイデアがその場でまとめられる場合が多い。したがって、その場で利用されたホワイトボード上の画像や、会議中に付加情報(ポストイット)を付された時点の情報を参照することが主と考えられる。
(Other variations)
Opinion exchange-type meetings such as brainstorming are rarely made of minutes, and ideas that come out on the spot are often gathered on the spot. Therefore, it is considered to refer mainly to images on the whiteboard used on the spot and information at the time when additional information (post-it) was added during the conference.

ただし、意見交換型会議においても、ファシリテーターが皆無ということはなく、特定発言者(主発言者)を見出すことはできる。最終的に、意見交換型会議においてもまとめがファシリテーターによってなされるケースがある。したがって、主発言者の発言とその主発言者に向けてなされた音声をリンクさせることは、意見交換型会議においても役立つと考えられる。   However, there is no facilitator even in an opinion exchange meeting, and a specific speaker (main speaker) can be found. Eventually, there are cases where summaries are made by facilitators in opinion exchange meetings. Therefore, linking the speech of the main speaker and the voice made to the main speaker is considered to be useful in an opinion exchange type meeting.

なお、本明細書において説明された議事録作成支援システムは、会議中であっても、会議後であっても、議事録ファイルを作成できる。会議中であれば、それまでの会話からリンクが生成され、順次会話が進むことでリンクが更新されていく。   Note that the minutes creation support system described in this specification can create a minutes file during a meeting or after a meeting. If it is during a meeting, a link will be produced | generated from the conversation until then, and a link will be updated by a conversation progressing sequentially.

本明細書において説明された議事録作成支援システムは、会話集中度から、議事録の作成にとって重要な情報(音声データ)を取り出し、リンクを作成する。   The minutes creation support system described in this specification extracts information (voice data) important for creating minutes from the conversation concentration level, and creates a link.

これにより、議事録ファイルを参照するユーザーは、会議において記録されたすべての情報(音声データ)をたぐることなく、議事録の元データを参照することができる。   Thereby, the user who refers to the minutes file can refer to the original data of the minutes without going through all the information (voice data) recorded in the meeting.

なお、議事録作成支援システムにおいて取得される会話集中度は、次の用途にも活用できる。   Note that the degree of conversation concentration acquired in the minutes creation support system can be used for the following purposes.

・各自の会話集中度の比較をして、参加者間で議論ができているかどうかのチェック
・会話中集度から重要な発言を取り出して、セキュリティ(読取属性の変更や暗号化)をかける
・会議前に設定したファシリテーターのスキルチェック(自分で話しているだけか、議論を活性化させているか)
・主発言者と関わりのない発言は、記録として不必要なので削除、あるいは難読化(暗号化やデータ分割など)を施すことよる、データの圧縮、議論と関係のないおしゃべりなどの削除、および/または、プライバシーの保護
今回開示された各実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。また、実施の形態および各変形例において説明された発明は、可能な限り、単独でも、組合わせても、実施することが意図される。
・ Comparing each person's concentration of conversation and checking whether or not discussions are possible between participants ・ Extracting important comments from the concentration during conversation and applying security (changing reading attributes and encryption) Facilitator skill check set before the meeting (speaking by yourself or activating discussion)
・ Remarks that are not related to the main speaker are unnecessary as a record, so they can be deleted or obfuscated (encryption, data division, etc.), data compression, chatting unrelated to discussion, etc., and / or Or protection of privacy It should be thought that each embodiment indicated this time is an illustration and restrictive at no points. The scope of the present invention is defined by the terms of the claims, rather than the description above, and is intended to include any modifications within the scope and meaning equivalent to the terms of the claims. In addition, the invention described in the embodiment and each modification is intended to be carried out independently or in combination as much as possible.

100 サーバー、200,200A〜200F 会話収集デバイス、201,211 マイク、202 赤外線送受信部、203 生体情報検出部、204 電子コンパス、205 GPSコントローラー、212 カメラ、800 議事録作成システム、900 ライフログ生成システム。   100 server, 200, 200A to 200F conversation collection device, 201, 211 microphone, 202 infrared transmission / reception unit, 203 biological information detection unit, 204 electronic compass, 205 GPS controller, 212 camera, 800 minutes creation system, 900 life log generation system .

Claims (13)

会議の参加者同士の会話が成立している状態を検知するための検知手段と、
前記会議の参加者が発する音声を記録するための記録手段と、
前記検知手段による会話の成立状態の検知結果に基づいて、前記記録手段に記録された音声から特定の音声を抽出するための抽出手段と、
前記特定の音声を用いて前記会議の議事録を作成するための議事録作成手段とを備え
前記検知手段は、各参加者によって装着される個別IDを有するデバイスの赤外線送受信部の各々が通信可能になり、互いに相手の個別IDを受信した前記参加者の組が存在する場合に、前記会議の参加者同士の会話が成立している状態と判断する、議事録作成支援装置。
Detection means for detecting a state in which a conversation between the participants of the conference is established;
Recording means for recording the voices uttered by the participants of the conference;
An extracting means for extracting a specific sound from the sound recorded in the recording means based on the detection result of the conversation establishment state by the detecting means;
A minutes creation means for creating minutes of the meeting using the specific voice ;
The detection means is configured so that each of the infrared transmission / reception units of the devices having individual IDs worn by each participant can communicate with each other, and there is a set of the participants who have received the individual IDs of the other party. of conversation among participants that be determined that the state has been established, the minutes creating support device.
会議の参加者同士の会話が成立している状態を検知するための検知手段と、Detection means for detecting a state in which a conversation between the participants of the conference is established;
前記会議の参加者が発する音声を記録するための記録手段と、Recording means for recording the voices uttered by the participants of the conference;
前記検知手段による会話の成立状態の検知結果に基づいて、前記記録手段に記録された音声から特定の音声を抽出するための抽出手段と、An extracting means for extracting a specific sound from the sound recorded in the recording means based on the detection result of the conversation establishment state by the detecting means;
前記特定の音声を用いて前記会議の議事録を作成するための議事録作成手段とを備え、A minutes creation means for creating minutes of the meeting using the specific voice;
前記検知手段は、各参加者によって装着されるデバイスの電子コンパスとGPSコントローラーにより、各参加者の位置と向きを特定して、近傍に位置し、かつ、向かい合っている参加者の組において音声が検出された場合に、前記会議の参加者同士の会話が成立している状態と判断する、議事録作成支援装置。The detection means specifies the position and orientation of each participant by means of an electronic compass of a device worn by each participant and a GPS controller, and the sound is heard in a pair of participants located in the vicinity and facing each other. A minutes creation support apparatus that, when detected, determines that a conversation between participants in the conference is established.
前記抽出手段は、
前記会議の参加者のそれぞれについて、前記検知手段によって会話が成立したと判断された時間を積算して合計会話時間を算出し、
各参加者についての合計会話時間に基づいて、前記会議における主発言者を特定し、
前記記録手段が記録した音声から、前記主発言者が含まれる会話の音声を、前記特定の音声として抽出する、請求項1または請求項2に記載の議事録作成支援装置。
The extraction means includes
For each participant of the conference, calculate the total conversation time by accumulating the time determined by the detection means that the conversation was established,
Based on the total conversation time for each participant, identify the main speaker in the meeting,
The minutes creation support apparatus according to claim 1, wherein a voice of a conversation including the main speaker is extracted as the specific voice from the voice recorded by the recording unit.
前記抽出手段は、
すべての参加者についての前記合計会話時間に対する各参加者の前記合計会話時間の比を算出することによって、各参加者の会話集中度を算出し、
各参加者の前記会話集中度に基づいて、最も前記会話集中度の高い参加者を主発言者として決定し、
前記記録手段が記録した音声から、前記主発言者が含まれる会話の音声を、前記特定の音声として抽出する、請求項に記載の議事録作成支援装置。
The extraction means includes
Calculate the conversation concentration of each participant by calculating the ratio of each participant's total conversation time to the total conversation time for all participants;
Based on the conversation concentration of each participant, the participant having the highest conversation concentration is determined as the main speaker,
4. The minutes creation support apparatus according to claim 3 , wherein a voice of a conversation including the main speaker is extracted as the specific voice from the voice recorded by the recording means.
前記記録手段は、各参加者が発した音声と当該参加者に発せられた音声とを区別して、音声を記録する、請求項1〜請求項のいずれか1項に記載の議事録作成支援装置。 It said recording means is to distinguish between voice each participant emitted voice and the participant that originated, recording audio, minutes creation support according to any one of claims 1 to 4 apparatus. 前記議事録作成手段は、前記特定の音声に対するリンクを生成し、当該リンクを提示する、請求項1〜請求項のいずれか1項に記載の議事録作成支援装置。 The proceedings preparation means, said generating a link to a particular voice, presenting the link, minutes creation support apparatus according to any one of claims 1 to 5. 前記抽出手段は、音声の発話の時間帯に基づく優先度に基づいて、前記記録手段に記録された音声から前記特定の音声を抽出する、請求項1〜請求項のいずれか1項に記載の議事録作成支援装置。 The extraction means based on the priority based on the time zone of the voice utterance, the extracted specific voice from the recorded voice in the recording means, according to any one of claims 1 to 6 Minutes creation support device. 前記抽出手段は、前記記録手段に記録された音声を発した参加者に対して設定された優先度に基づいて、前記記録手段に記録された音声から前記特定の音声を抽出する、請求項1〜請求項のいずれか1項に記載の議事録作成支援装置。 The extraction means extracts the specific sound from the sound recorded in the recording means based on a priority set for a participant who has emitted the sound recorded in the recording means. minutes creation support apparatus according to any one of-claims 7. 前記記録手段は、前記音声を、当該音声を発する者の生体情報とともに記録する、請求項1〜請求項のいずれか1項に記載の議事録作成支援装置。 Said recording means, said speech, recorded together with biometric information of a person who emits the sound, minutes creation support apparatus according to any one of claims 1 to 8. 会議の参加者が装着する検出手段と、前記検出手段と通信可能な議事録作成支援装置とを備えた、議事録作成支援システムであって、
前記議事録作成支援装置は、
各前記検出手段から取得する検出結果に基づいて、会議の参加者同士の会話が成立している状態を検知するための検知手段と、
前記会議の参加者が発する音声を記録するための記録手段と、
前記検知手段による会話の成立状態の検知結果に基づいて、前記記録手段に記録された音声から特定の音声を抽出するための抽出手段と、
前記特定の音声を用いて前記会議の議事録を作成するための議事録作成手段とを含み、
前記検知手段は、各参加者によって装着される個別IDを有するデバイスの赤外線送受信部の各々が通信可能になり、互いに相手の個別IDを受信した前記参加者の組が存在する場合に、前記会議の参加者同士の会話が成立している状態と判断する、議事録作成支援システム。
A minutes creation support system comprising detection means worn by a participant of a meeting and a minutes creation support device capable of communicating with the detection means,
The minutes creation support device,
Based on the detection result obtained from each of the detection means, detection means for detecting a state in which the conversation between the conference participants is established,
Recording means for recording the voices uttered by the participants of the conference;
An extracting means for extracting a specific sound from the sound recorded in the recording means based on the detection result of the conversation establishment state by the detecting means;
Only contains the proceedings creating means for creating the minutes of the meeting by using the specific voice,
The detection means is configured so that each of the infrared transmission / reception units of the devices having individual IDs worn by each participant can communicate with each other, and there is a set of the participants who have received the individual IDs of each other. of conversation among participants that be determined that the state has been established, the minutes creation support system.
会議の参加者が装着する検出手段と、前記検出手段と通信可能な議事録作成支援装置とを備えた、議事録作成支援システムであって、A minutes creation support system comprising detection means worn by a participant of a meeting and a minutes creation support device capable of communicating with the detection means,
前記議事録作成支援装置は、The minutes creation support device,
各前記検出手段から取得する検出結果に基づいて、会議の参加者同士の会話が成立している状態を検知するための検知手段と、Based on the detection result obtained from each of the detection means, detection means for detecting a state in which the conversation between the conference participants is established,
前記会議の参加者が発する音声を記録するための記録手段と、Recording means for recording the voices uttered by the participants of the conference;
前記検知手段による会話の成立状態の検知結果に基づいて、前記記録手段に記録された音声から特定の音声を抽出するための抽出手段と、An extracting means for extracting a specific sound from the sound recorded in the recording means based on the detection result of the conversation establishment state by the detecting means;
前記特定の音声を用いて前記会議の議事録を作成するための議事録作成手段とを含み、A minutes creation means for creating the minutes of the meeting using the specific voice;
前記検知手段は、各参加者によって装着されるデバイスの電子コンパスとGPSコントローラーにより、各参加者の位置と向きを特定して、近傍に位置し、かつ、向かい合っている参加者の組において音声が検出された場合に、前記会議の参加者同士の会話が成立している状態と判断する、議事録作成支援システム。The detection means specifies the position and orientation of each participant by means of an electronic compass of a device worn by each participant and a GPS controller, and the sound is heard in a pair of participants located in the vicinity and facing each other. A minutes creation support system that, when detected, determines that a conversation between participants in the conference is established.
コンピュータ読取可能なプログラムであって、前記コンピュータを、
会議の参加者同士の会話が成立している状態を検知するための検知手段、
前記会議の参加者が発する音声を記録するための記録手段、
前記検知手段による会話の成立状態の検知結果に基づいて、前記記録手段に記録された音声から特定の音声を抽出するための抽出手段、および、
前記特定の音声を用いて前記会議の議事録を作成するための議事録作成手段として機能させ
前記検知手段は、各参加者によって装着される個別IDを有するデバイスの赤外線送受信部の各々が通信可能になり、互いに相手の個別IDを受信した前記参加者の組が存在する場合に、前記会議の参加者同士の会話が成立している状態と判断する、議事録作成用プログラム。
A computer readable program comprising:
Detection means for detecting the state in which the conversation between the participants of the conference is established,
A recording means for recording a voice uttered by a participant of the conference;
An extracting means for extracting a specific sound from the sound recorded in the recording means based on the detection result of the conversation establishment state by the detecting means; and
Function as a minutes creation means for creating the minutes of the meeting using the specific voice ,
The detection means is configured so that each of the infrared transmission / reception units of the devices having individual IDs worn by each participant can communicate with each other, and there is a set of the participants who have received the individual IDs of the other party. Minutes creation program that judges that a conversation between participants has been established .
コンピュータ読取可能なプログラムであって、前記コンピュータを、A computer readable program comprising:
会議の参加者同士の会話が成立している状態を検知するための検知手段、Detection means for detecting the state in which the conversation between the participants of the conference is established,
前記会議の参加者が発する音声を記録するための記録手段、A recording means for recording a voice uttered by a participant of the conference;
前記検知手段による会話の成立状態の検知結果に基づいて、前記記録手段に記録された音声から特定の音声を抽出するための抽出手段、および、An extracting means for extracting a specific sound from the sound recorded in the recording means based on the detection result of the conversation establishment state by the detecting means; and
前記特定の音声を用いて前記会議の議事録を作成するための議事録作成手段として機能させ、Function as a minutes creation means for creating the minutes of the meeting using the specific voice,
前記検知手段は、各参加者によって装着されるデバイスの電子コンパスとGPSコントローラーにより、各参加者の位置と向きを特定して、近傍に位置し、かつ、向かい合っている参加者の組において音声が検出された場合に、前記会議の参加者同士の会話が成立している状態と判断する、議事録作成用プログラム。The detection means specifies the position and orientation of each participant by means of an electronic compass of a device worn by each participant and a GPS controller, and the sound is heard in a pair of participants located in the vicinity and facing each other. A minutes creation program that, when detected, determines that a conversation is established between participants in the conference.
JP2011249680A 2011-11-15 2011-11-15 Minutes creation support device, minutes creation support system, and minutes creation program Expired - Fee Related JP5751143B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011249680A JP5751143B2 (en) 2011-11-15 2011-11-15 Minutes creation support device, minutes creation support system, and minutes creation program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011249680A JP5751143B2 (en) 2011-11-15 2011-11-15 Minutes creation support device, minutes creation support system, and minutes creation program

Publications (2)

Publication Number Publication Date
JP2013105374A JP2013105374A (en) 2013-05-30
JP5751143B2 true JP5751143B2 (en) 2015-07-22

Family

ID=48624848

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011249680A Expired - Fee Related JP5751143B2 (en) 2011-11-15 2011-11-15 Minutes creation support device, minutes creation support system, and minutes creation program

Country Status (1)

Country Link
JP (1) JP5751143B2 (en)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10049336B2 (en) 2013-02-14 2018-08-14 Sociometric Solutions, Inc. Social sensing and behavioral analysis system
EP3005026A4 (en) * 2013-06-07 2017-01-11 Sociometric Solutions, Inc. Social sensing and behavioral analysis system
JP5949843B2 (en) * 2013-06-28 2016-07-13 キヤノンマーケティングジャパン株式会社 Information processing apparatus, information processing apparatus control method, and program
JP6210239B2 (en) 2015-04-20 2017-10-11 本田技研工業株式会社 Conversation analyzer, conversation analysis method and program
US11120342B2 (en) 2015-11-10 2021-09-14 Ricoh Company, Ltd. Electronic meeting intelligence
CN113330472A (en) * 2018-12-05 2021-08-31 株式会社东芝 Dialogue analysis system, method, and program
JP6791541B2 (en) * 2019-03-12 2020-11-25 Necプラットフォームズ株式会社 Meeting record creation support device, meeting record creation support system, meeting record creation support method, and program
KR102376058B1 (en) * 2020-07-10 2022-03-18 (주)액션파워 Computing device for providing dialogues services

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3879793B2 (en) * 1998-03-11 2007-02-14 富士ゼロックス株式会社 Speech structure detection and display device
JP2007027918A (en) * 2005-07-13 2007-02-01 Sharp Corp Real world communication management apparatus
JP2007215053A (en) * 2006-02-10 2007-08-23 Fuji Xerox Co Ltd Apparatus and method for creating minutes
JP5055781B2 (en) * 2006-02-14 2012-10-24 株式会社日立製作所 Conversation speech analysis method and conversation speech analysis apparatus
WO2007132690A1 (en) * 2006-05-17 2007-11-22 Nec Corporation Speech data summary reproducing device, speech data summary reproducing method, and speech data summary reproducing program
JP2008262046A (en) * 2007-04-12 2008-10-30 Hitachi Ltd Conference visualizing system and method, conference summary processing server
JP4983376B2 (en) * 2007-04-27 2012-07-25 カシオ計算機株式会社 Terminal device and program
JP2009053342A (en) * 2007-08-24 2009-03-12 Junichi Shibuya Minutes preparation apparatus
JP2011170634A (en) * 2010-02-18 2011-09-01 Nikon Corp Information processing device

Also Published As

Publication number Publication date
JP2013105374A (en) 2013-05-30

Similar Documents

Publication Publication Date Title
JP5751143B2 (en) Minutes creation support device, minutes creation support system, and minutes creation program
TWI482108B (en) To bring virtual social networks into real-life social systems and methods
Tang et al. An observational methodology for studying group design activity
JP2007282072A (en) Electronic conference system, electronic conference supporting program, electronic conference supporting method, and information terminal device in the electronic conference system
US20140136626A1 (en) Interactive Presentations
US8270587B2 (en) Method and arrangement for capturing of voice during a telephone conference
JP2006085440A (en) Information processing system, information processing method and computer program
JP2013105471A (en) Event data processor
US20180276281A1 (en) Information processing system, information processing method, and storage medium
JP6236875B2 (en) Content providing program, content providing method, and content providing apparatus
JP2013061906A (en) Face analyzer, face analyzing method, and program
CN107918771A (en) Character recognition method and Worn type person recognition system
Tan et al. The sound of silence
WO2019237085A1 (en) Session-based information exchange
JP2013031009A (en) Information processor, digest generating method, and digest generating program
WO2016136104A1 (en) Information processing device, information processing method, and program
JP2015118185A (en) Information processing apparatus, information processing method, and program
US20190020614A1 (en) Life log utilization system, life log utilization method, and recording medium
Ohnishi et al. A method for structuring meeting logs using wearable sensors
CN104135638A (en) Optimized video snapshot
EP3965369A1 (en) Information processing apparatus, program, and information processing method
Wataya et al. Ambient sensing chairs for audience emotion recognition by finding synchrony of body sway
US20190008466A1 (en) Life log utilization system, life log utilization method, and recording medium
US20130124240A1 (en) System and Method for Student Activity Gathering in a University
Soneda et al. M3B corpus: Multi-modal meeting behavior corpus for group meeting assessment

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140312

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141118

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150421

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150504

R150 Certificate of patent or registration of utility model

Ref document number: 5751143

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees