JP3980561B2 - CONFERENCE STATE DETECTION METHOD, DEVICE, AND CONFERENCE STATE DETECTION PROGRAM - Google Patents

CONFERENCE STATE DETECTION METHOD, DEVICE, AND CONFERENCE STATE DETECTION PROGRAM Download PDF

Info

Publication number
JP3980561B2
JP3980561B2 JP2004003020A JP2004003020A JP3980561B2 JP 3980561 B2 JP3980561 B2 JP 3980561B2 JP 2004003020 A JP2004003020 A JP 2004003020A JP 2004003020 A JP2004003020 A JP 2004003020A JP 3980561 B2 JP3980561 B2 JP 3980561B2
Authority
JP
Japan
Prior art keywords
conference
conference state
state
time
series data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004003020A
Other languages
Japanese (ja)
Other versions
JP2005198086A (en
Inventor
真道 細田
彰 中山
敏 岩城
稔 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2004003020A priority Critical patent/JP3980561B2/en
Publication of JP2005198086A publication Critical patent/JP2005198086A/en
Application granted granted Critical
Publication of JP3980561B2 publication Critical patent/JP3980561B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Telephonic Communication Services (AREA)

Description

本発明は、会議がどのような状態であるかを推定する方法および装置に関する。   The present invention relates to a method and apparatus for estimating what state a conference is in.

生体情報を利用し、同調度を判定する技術として特許文献１がある。これは２人の脈拍情報を互いに送りあい、相手と自分の脈拍情報および、脈拍情報の同調度を表示することにより、互いの情動を近づけることを目的としたものである。   As a technique for determining the degree of synchronization using biological information, there is Patent Document 1. The purpose of this is to send the pulse information of two people to each other and display the pulse information of the other party and the person and the degree of synchronization of the pulse information, thereby bringing the emotions of each other closer.

電子会議システムに関する技術として非特許文献１がある。これは電子会議システムにおいて、生体情報を含むマルチメディア情報を記録し検索する技術である。   There is Non-Patent Document 1 as a technology related to an electronic conference system. This is a technique for recording and retrieving multimedia information including biological information in an electronic conference system.

会議における生体情報を利用した技術として特許文献２がある。これはチャットによる会議において、生体情報の変化によって表示に使用する字体を変更する技術である。   There exists patent document 2 as a technique using the biometric information in a meeting. This is a technique for changing a font used for display in a conference by chat according to a change in biometric information.

会議における会議状態の記録検索に関する技術として非特許文献２がある。これは会議参加者に発言の意図について入力させ、また、あらかじめ議事を整理して登録しておくことによって、会議の状態を捉え検索を行うことができる技術である。
特開平１１−４８９２ 特開２００３−１６０２２ 犬童拓也，細田真道，中山彰，岩城敏，“会議途中参加支援を目的とした会議情報検索インタフェース−ＧｉｊｉＬｏｏｋの提案−”，情処研報，Ｎｏ．２００３−ＧＮ−４９（２１），ｐｐ．１２１−１２６（２００３）． 田中充，福宿光徳，西堀良久，勅使河原可海，“同期・非同期型統合型マルチメディア会議システムＡＳＳＩＳＴにおけるマルチメディア議事録の開発と評価”，ＤＩＣＯＭＯ９９ 予稿集，ｐｐ．７９−８４，１９９９． There is Non-Patent Document 2 as a technique relating to conference state record retrieval in a conference. This is a technique that allows a conference participant to input a speech intention and organizes and registers the agenda in advance to capture and search the conference status.
JP 11-4892 A JP 2003-16022 A Takuya Inudo, Masamichi Hosoda, Akira Nakayama, Satoshi Iwaki, “Conference Information Retrieval Interface for Supporting Participation During the Meeting -GijiLook's Proposal”, Information Processing Research Reports, No. 2003-GN-49 (21), pp. 121-126 (2003). Mitsunobu Tanaka, Mitsunori Fukujuku, Yoshihisa Nishibori, Kaumi Teshigawara, “Development and Evaluation of Multimedia Minutes in Synchronous / Asynchronous Integrated Multimedia Conference System ASSIST”, DICOMO99 Proceedings, pp. 79-84, 1999.

特許文献１の技術は、生体情報と同調度を表示することにより、遠隔地にいる者同士が互いに同調しているのか不調和な状態なのかを知り、互いの情動を近づけるものであるが、２人以上の会議については考慮されておらず、また、記録していないため特定の場面を検索することができない。   The technology of Patent Literature 1 displays biological information and the degree of synchronization, so that people in remote locations know whether they are synchronized with each other or are in an uncoordinated state, and bring their emotions closer together. A meeting of two or more people is not taken into consideration, and a specific scene cannot be searched because it is not recorded.

非特許文献１の技術は、会議において生体情報を含むマルチメディア情報を記録することによって特定の場面を検索することができるが、会議状態の推定および記録を行っておらず、会議状態の検索を行うことができない。   The technology of Non-Patent Document 1 can search a specific scene by recording multimedia information including biometric information in a conference, but does not estimate and record the conference state, and does not search the conference state. I can't do it.

特許文献２の技術は、生体情報を用いて会議を効果的に行う技術であるが、参加者個人の生体情報により参加者個人に関する表示を変化させているだけであり、参加者相互間における関係について考慮されておらず、また、会議状態の推定および記録を行っておらず、会議状態の検索を行うことができない。   The technique of Patent Document 2 is a technique for effectively performing a meeting using biometric information, but only the display related to the participant individual is changed by the biometric information of the participant individual, and the relationship between the participants Is not considered, and the conference state is not estimated and recorded, and the conference state cannot be searched.

非特許文献２の技術は、会議の状態を検索するために、事前に議事を整理して登録した上で参加者に発言の意図を入力させる必要があり、事前準備および会議中の操作が煩雑となっている。   In the technique of Non-Patent Document 2, in order to search for the state of a meeting, it is necessary to organize and register the agenda in advance and then let the participant input the intention of the speech, and the preparation and the operation during the meeting are complicated It has become.

本発明の目的は、会議中または会議終了後に、所望の会議状態であった会議を録画や録音等から再生することが可能な会議状態検出方法、装置、およびプログラムを提供することにある。   An object of the present invention is to provide a conference state detection method, apparatus, and program capable of reproducing a conference that has been in a desired conference state during recording or after the conference ends from recording or recording.

上記目的を達成するために、本発明によれば、
各会議参加者の生体情報を取得する生体情報取得手段と、
得られた生体情報に所定の加工を行い、結果を時系列に出力する生体情報処理手段と、
生体情報の特徴と、会議がどのような状態であるかを示す会議状態との組み合わせを記録した会議状態辞書と、
加工された複数の生体情報から前記会議状態辞書を用いて、生体情報が取得された時刻の会議状態を推定する会議状態推定手段と、
推定された会議状態を会議データベースに記録する会議状態記録手段と
を有する会議状態検出装置が提供される。 In order to achieve the above object, according to the present invention,
Biometric information acquisition means for acquiring biometric information of each conference participant;
Biological information processing means for performing predetermined processing on the obtained biological information and outputting the results in time series;
A conference state dictionary that records a combination of features of biometric information and a conference state that indicates what state the conference is in;
Meeting state estimation means for estimating the meeting state at the time when the biological information was acquired using the meeting state dictionary from a plurality of processed biological information,
There is provided a conference state detection device comprising: a conference state recording unit that records an estimated conference state in a conference database.

本発明の特徴は、会議において参加者の生体情報を時系列に取得し、時系列の生体情報を解析することによって、会議がどのような状態であったのかを示す会議状態を推定し、会議状態を時系列に記録することによって、所望の会議状態（議論が白熱している、重要な発言があった、議論が同調している、議論がかみ合わない、等）であった時刻を会議中または会議終了後に検索することによって、該当の場面を会議の録画や録音等から再生させることが可能となる。   A feature of the present invention is that the biometric information of participants in a conference is acquired in time series, and the conference status indicating the status of the conference is estimated by analyzing the biometric information in time series. By recording the status in chronological order, the time when the meeting was in the desired state (the discussion was heated, there was an important statement, the discussion was synchronized, the discussion was not engaged, etc.) Alternatively, by searching after the conference, the corresponding scene can be reproduced from the recording or recording of the conference.

本発明は、会議参加者の生体情報を取得し、参加者相互間の生体情報の関係を解析し、その場面で会議がどのような状態であったのかを推定し、記録することによって、任意の会議状態の場面を検索することができる効果がある。   The present invention obtains the biometric information of the conference participants, analyzes the biometric information relationship between the participants, estimates the state of the conference in the scene, and records it. There is an effect that it is possible to search the scenes of the conference state.

次に、本発明の実施の形態について図面を参照して説明する。   Next, embodiments of the present invention will be described with reference to the drawings.

図１は本発明の一実施形態の会議状態検出・検索装置の構成を示している。   FIG. 1 shows the configuration of a conference state detection / search apparatus according to an embodiment of the present invention.

会議参加者１1，１2，…，１nにはそれぞれその生体情報を取得する生体情報取得器２1，２2，…，２nが装着されている。生体情報処理部３1，３2，…，３nはそれぞれ生体情報取得器２1，２2，…，２nで取得された生体情報に所定の加工を行う。会議状態辞書４は生体情報の特徴と、会議がどのような状態であるかを示す会議状態との組み合わせを記録している。会議状態推定部５は、生体情報処理部３1〜３nで得られた情報と会議状態辞書４を用いて会議状態を推定する。会議状態記録部６は会議状態を、生体情報が取得された時刻の時刻情報とともに会議状態データベース７に記録する。会議状態検索部８は会議状態データベース７から所望の会議状態であった時刻を会議中または会議終了後に検索する。検索結果表示部９は該時刻をディスプレイに表示する。 Conferee 1 1, 1 2, ..., the biological information acquisition unit 2 1 to acquire the biometric information respectively to 1 n, 2 2, ..., 2 n is attached. Biological information processor 3 1, 3 2, ..., 3 n each biometric information acquisition unit 2 1, 2 2, ..., performs predetermined processing on the obtained biometric information 2 n. The meeting state dictionary 4 records the combination of the characteristics of the biometric information and the meeting state indicating what state the meeting is in. The conference state estimation unit 5 estimates the conference state using the information obtained by the biological information processing units 3 1 to 3 n and the conference state dictionary 4. The conference state recording unit 6 records the conference state in the conference state database 7 together with time information of the time when the biological information is acquired. The conference state search unit 8 searches the conference state database 7 for a time when the conference state is desired, during or after the conference. The search result display unit 9 displays the time on the display.

第１の具体例として、生体情報取得器２1〜２nは、会議参加者１1〜１nの生体情報として脈波を検出するものとする。この場合、生体情報取得器２1〜２nとして、近年エアロバイク（登録商標）等の有酸素運動に用いられる器具において心拍数の計測に広く用いられている光電脈波検出方式によるセンサを用いる。光電脈波検出センサより得られる波形の例を図２に示す。図２におけるピーク間隔は、心電図のＲＲ間隔と同等とみなすことができる。 As a first specific example, the biological information acquisition devices 2 1 to 2 n detect pulse waves as biological information of the conference participants 1 1 to 1 n . In this case, as the biometric information acquisition devices 2 1 to 2 n , sensors using a photoelectric pulse wave detection method widely used for heart rate measurement in instruments used for aerobic exercise such as an exercise bike (registered trademark) in recent years are used. . An example of a waveform obtained from the photoelectric pulse wave detection sensor is shown in FIG. The peak interval in FIG. 2 can be regarded as equivalent to the RR interval of the electrocardiogram.

本例における生体情報処理部３1〜３nの処理のフローチャートを図３に示す。まず、生体情報取得器２1〜２nから得られたデータからピークを検出する（ステップ１０１，１０２）。そしてピークと前回ピークとの間隔を求め、これを１分間あたりの心拍数に換算した瞬間心拍を計算する（ステップ１０３，１０４）。瞬間心拍は、ピーク間隔の単位が秒であれば、瞬間心拍＝６０÷ピーク間隔で求めることができる。瞬間心拍は心拍によって発生するため、等時間間隔ではない。そこで、後の処理のため、０．１秒の等時間間隔にする補間を行う（ステップ１０５）。補間のアルゴリズムには線形補間またはスプライン補間を使用する。そして、ローパスフィルタにより、０．０７Ｈｚ以下の低周波成分を取り出す（ステップ１０６）。最後に、結果を会議状態推定部５に送る（ステップ１０７）。 FIG. 3 shows a flowchart of processing of the biological information processing units 3 1 to 3 n in this example. First, a peak is detected from data obtained from the biometric information acquisition devices 2 1 to 2 n (steps 101 and 102). Then, an interval between the peak and the previous peak is obtained, and an instantaneous heart rate is calculated by converting this to a heart rate per minute (steps 103 and 104). If the unit of the peak interval is second, the instantaneous heart rate can be obtained by instantaneous heart rate = 60 ÷ peak interval. Since instantaneous heartbeats are generated by heartbeats, they are not equally spaced. Therefore, interpolation is performed at equal time intervals of 0.1 seconds for later processing (step 105). As the interpolation algorithm, linear interpolation or spline interpolation is used. Then, a low frequency component of 0.07 Hz or less is extracted by the low pass filter (step 106). Finally, the result is sent to the conference state estimation unit 5 (step 107).

第２の具体例として、生体情報取得器２1〜２nは、会議参加者１1〜１nの生体情報として脳脈を検出するものとする。この場合、生体情報取得器２1〜２nとして医療用などに広く用いられている、いくつかの電極を頭部に装着させ、それを増幅して得られる波形を出力するものを用いる。この場合、生体情報処理部３1〜３nは、得られた波形から周波数フィルタによりアルファ波レベルおよびベータ波レベルを得て、それぞれの時系列データを会議状態推定部５に送る。 As a second specific example, the biological information acquisition devices 2 1 to 2 n detect brain veins as biological information of conference participants 11 1 to 1 n . In this case, the biological information acquisition devices 2 1 to 2 n that are widely used for medical purposes or the like are used to output a waveform obtained by attaching some electrodes to the head and amplifying them. In this case, the biological information processing units 3 1 to 3 n obtain an alpha wave level and a beta wave level from the obtained waveform using a frequency filter, and send the respective time-series data to the conference state estimation unit 5.

第３の具体例として、生体情報取得器２1〜２nは、会議参加者１1〜１nの生体情報として発汗量を検出するものとする。発汗量を計測するために、参加者の両方の手のひらに電極を装着させ、電極間の抵抗値を計測し、それを出力する。この場合の生体情報処理部３1〜３nは、得られた抵抗値をローパスフィルタを通し、１０Ｈｚ以下の低周波成分を取り出し、会議状態推定部５に送る。 As a third specific example, the biological information acquisition devices 2 1 to 2 n detect the amount of sweat as the biological information of the conference participants 1 1 to 1 n . In order to measure the amount of sweating, electrodes are attached to both palms of the participant, the resistance value between the electrodes is measured, and it is output. In this case, the biological information processing units 3 1 to 3 n pass the obtained resistance value through a low-pass filter, extract a low frequency component of 10 Hz or less, and send it to the conference state estimation unit 5.

図４に会議状態推定部５の第１の具体的処理例を示す。この例では参加者は４名とする。４人の場合の相関行列は４×４の行列となり、ｎ人の場合の相関行列はｎ×ｎの行列となる。相関行列のｎ行ｍ列の要素は、ｎ人目の参加者とｍ人目の参加者との間の相関係数となっている。相関係数は互いに対して正の相関が強ければ１に近くなり、相関がなければ０に近くなり、負の相関が強ければ−１に近くなる。あらかじめ、会議状態辞書４には図５に示す相関行列と会議状態の組み合わせを登録しておく。推定は、まず、１秒ごとに過去１０秒間の時系列データについて、各参加者間の相関係数を計算し、相関行列を求める（ステップ２０１，２０２）。計算した相関行列を会議状態辞書４の各相関行列と比較する（ステップ２０３）。比較方法は行列の差分をとり、その絶対値を用いることにする。会議状態を絶対値がもっとも小さかった会議状態であったと推定し（ステップ２０４）、推定された会議状態と時刻情報を会議状態記録部６に送る（ステップ２０５）。   FIG. 4 shows a first specific processing example of the conference state estimation unit 5. In this example, there are four participants. The correlation matrix for four people is a 4 × 4 matrix, and the correlation matrix for n people is an n × n matrix. The element of n rows and m columns of the correlation matrix is a correlation coefficient between the nth participant and the mth participant. The correlation coefficient is close to 1 if the positive correlation is strong, close to 0 if there is no correlation, and close to -1 if the negative correlation is strong. In advance, a combination of the correlation matrix and the conference state shown in FIG. In the estimation, first, a correlation coefficient between each participant is calculated for each 10 seconds of time series data for the past 10 seconds to obtain a correlation matrix (steps 201 and 202). The calculated correlation matrix is compared with each correlation matrix in the conference state dictionary 4 (step 203). The comparison method takes a matrix difference and uses its absolute value. The conference state is estimated to be the conference state having the smallest absolute value (step 204), and the estimated conference state and time information are sent to the conference state recording unit 6 (step 205).

図６に会議状態推定部５の第２の具体的処理例を示す。この例では参加者は５人とする。あらかじめ、会議状態辞書４には図７に示す時系列データと会議状態の組み合わせを登録しておく。推定は、まず、１秒ごとに過去１０秒の時系列データを取り出す（ステップ３０１）。各参加者の時系列データについて、会議状態辞書４の時系列データとの相関係数をとる（ステップ３０２）。相関係数が最も高かった会議状態が、該参加者個人の会議状態であると推定し（ステップ３０３）、参加者の推定された会議状態のうち、最も多かった会議状態が全体の会議状態であると推定し（ステップ３０４）、推定された会議状態と時刻情報を会議状態記録部６に送る（ステップ３０５）。   FIG. 6 shows a second specific processing example of the conference state estimation unit 5. In this example, there are five participants. The combination of time series data and conference state shown in FIG. 7 is registered in advance in the conference state dictionary 4. In the estimation, first, time series data of the past 10 seconds is taken out every second (step 301). A correlation coefficient with the time series data of the conference state dictionary 4 is taken for the time series data of each participant (step 302). It is estimated that the conference state having the highest correlation coefficient is the conference state of the individual participant (step 303), and among the estimated conference states of the participant, the conference state having the largest number is the overall conference state. It is estimated that there is (step 304), and the estimated conference state and time information are sent to the conference state recording unit 6 (step 305).

会議状態記録部６は、会議状態推定部５から送られてきた推定情報と、そのときの時刻を会議状態データベース７に記録する。会議状態データベース７に記録されたレコードの例を図８に示す。   The conference state recording unit 6 records the estimation information sent from the conference state estimation unit 5 and the time at that time in the conference state database 7. An example of a record recorded in the conference state database 7 is shown in FIG.

会議状態検索部８は、検索したい会議状態を入力させることにより、該会議状態の時刻を会議状態データベース７を用いて検索する。検索結果は検索結果表示部９に送られる。   The conference status search unit 8 searches the conference status time using the conference status database 7 by inputting the conference status to be searched. The search result is sent to the search result display unit 9.

会議状態表示部９は、会議状態検索部８から送られてきた時刻をディスプレイに表示するとともに、会議の録画または録音から該当時刻の場面を取り出して再生することができる。   The conference state display unit 9 displays the time sent from the conference state search unit 8 on the display, and can take out and reproduce the scene at the corresponding time from the recording or recording of the conference.

なお、本発明の会議状態検出方法は専用のハードウェアにより実現されるもの以外に、その機能を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するものであってもよい。コンピュータ読み取り可能な記録媒体とは、フロッピーディスク、光磁気ディスク、ＣＤ−ＲＯＭ等の記録媒体、コンピュータシステムに内蔵されるハードディスク装置等の記憶装置を指す。さらに、コンピュータ読み取り可能な記録媒体は、インターネットを介してプログラムを送信する場合のように、短時間の間、動的にプログラムを保持するもの（伝送媒体もしくは伝送波）、その場合のサーバとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含む。   In addition, the conference state detection method of the present invention is recorded on a computer-readable recording medium, and the program for realizing the function is recorded on the recording medium, in addition to that realized by dedicated hardware. The program may be read into a computer system and executed. The computer-readable recording medium refers to a recording medium such as a floppy disk, a magneto-optical disk, a CD-ROM, or a storage device such as a hard disk device built in the computer system. Furthermore, a computer-readable recording medium is a server that dynamically holds a program (transmission medium or transmission wave) for a short period of time as in the case of transmitting a program via the Internet, and a server in that case Some of them hold programs for a certain period of time, such as volatile memory inside computer systems.

本発明の一実施形態の会議状態推定・検索装置の構成を示す図である。It is a figure which shows the structure of the meeting state estimation / search apparatus of one Embodiment of this invention. 光電脈波検出センサより得られる波形例を示す図である。It is a figure which shows the example of a waveform obtained from a photoelectric pulse wave detection sensor. 生体情報処理部３1〜３nの処理例を示すフローチャートである。It is a flowchart showing a process example of a biological information processor 3 1 to 3 n. 会議状態推定部５の第１の具体的処理例を示すフローチャートである。6 is a flowchart illustrating a first specific processing example of a conference state estimation unit 5. 会議状態辞書４に登録された相関行列と会議状態の例を示す図である。It is a figure which shows the example of the correlation matrix registered into the meeting state dictionary 4, and a meeting state. 会議状態推定部５の第２の具体的処理例を示すフローチャートである。10 is a flowchart illustrating a second specific process example of the conference state estimation unit 5. 会議状態辞書４に登録された時系列データと会議状態の例を示す図である。It is a figure which shows the example of the time series data registered in the meeting state dictionary, and a meeting state. 会議状態データベース７に記録されたレコードの例を示す図である。It is a figure which shows the example of the record recorded on the meeting state database.

符号の説明Explanation of symbols

１1〜１n 会議参加者
２1〜２n 生体情報取得器
３1〜３n 生体情報処理部
４ 会議状態辞書
５ 会議状態推定部
６ 会議状態記録部
７ 会議状態データベース
８ 会議状態検索部
９ 検索結果表示部
１０１〜１０７，２０１〜２０５，３０１〜３０５ ステップ

1 1 to 1 n conference participants 2 1 to 2 n biometric information acquisition devices 3 1 to 3 n biometric information processing unit 4 conference status dictionary 5 conference status estimation unit 6 conference status recording unit 7 conference status database 8 conference status search unit 9 Search result display section 101-107, 201-205, 301-305 steps

Claims (10)

各会議参加者の生体情報を取得する生体情報取得ステップと、
得られた生体情報に所定の加工を行い、結果を時系列に出力する生体情報処理ステップと、
生体情報の特徴と、会議がどのような状態であるかを示す会議状態との組み合わせを記録した会議状態辞書を用いて、加工された複数の生体情報から、前記生体情報が取得された時刻における会議状態を推定する会議状態推定ステップと、
推定された会議状態を会議状態データベースに記録する会議状態記録ステップと
を有する会議状態検出方法。 A biometric information acquisition step of acquiring biometric information of each conference participant;
A biological information processing step of performing predetermined processing on the obtained biological information and outputting the results in time series;
At the time when the biometric information is acquired from a plurality of processed biometric information using a conference state dictionary that records a combination of features of the biometric information and a conference state indicating what state the conference is in A conference state estimation step for estimating the conference state;
A conference state detection method comprising: a conference state recording step of recording the estimated conference state in a conference state database. 前記生体情報取得ステップでは参加者の脈波を検出し、
前記生体情報処理ステップでは検出された脈波から瞬間心拍を検出し、該瞬間心拍の変動を所定の特性を持つフィルタにかけ時系列データを出力し、
前記会議状態推定ステップでは、ある参加者の該時系列データを、一定の時間間隔ごとに一定範囲の時間内において、他の参加者の時系列データまたは前記会議状態辞書あるいはその両方と比較し、該時刻における会議の状態を推定する、
請求項１に記載の会議状態検出方法。 In the biological information acquisition step, the pulse wave of the participant is detected,
In the biological information processing step, the instantaneous heartbeat is detected from the detected pulse wave, the fluctuation of the instantaneous heartbeat is applied to a filter having a predetermined characteristic, and time series data is output,
In the conference state estimation step, the time series data of a certain participant is compared with the time series data of the other participants and the conference state dictionary or both within a certain range of time at regular time intervals, Estimating the state of the meeting at that time;
The conference state detection method according to claim 1. 前記生体情報取得ステップでは参加者の脳波を検出し、
前記生体情報処理ステップでは検出された脳波を所定の特性を持つフィルタにかけ時系列データを出力し、
前記会議状態推定ステップでは、ある参加者の該時系列データを、一定の時間間隔ごとに一定範囲の時間内において、他の参加者の時系列データまたは前記会議状態辞書あるいはその両方と比較し、該時刻における会議の状態を推定する、
請求項１に記載の会議状態検出方法。 In the biological information acquisition step, the brain waves of the participants are detected,
In the biological information processing step, the detected electroencephalogram is filtered through a filter having predetermined characteristics, and time-series data is output.
In the conference state estimation step, the time series data of a certain participant is compared with the time series data of the other participants and the conference state dictionary or both within a certain range of time at regular time intervals, Estimating the state of the meeting at that time;
The conference state detection method according to claim 1. 前記生体情報取得ステップでは参加者の発汗量を検出し、
前記生体情報処理ステップでは検出された発汗量を所定の特性を持つフィルタにかけ時系列データを出力し、
前記会議状態推定ステップでは、ある参加者の該時系列データを、一定の時間間隔ごとに一定範囲の時間内において、他の参加者の時系列データまたは前記会議状態辞書あるいはその両方と比較し、該時刻における会議の状態を推定する、
請求項１に記載の会議状態検出方法。 In the biometric information acquisition step, the sweating amount of the participant is detected,
In the biological information processing step, the detected amount of perspiration is filtered through a filter having predetermined characteristics, and time-series data is output.
In the conference state estimation step, the time series data of a certain participant is compared with the time series data of the other participants and the conference state dictionary or both within a certain range of time at regular time intervals, Estimating the state of the meeting at that time;
The conference state detection method according to claim 1. 前記会議状態推定ステップでは、各時系列データの各参加者相互間における相関係数を計算し、該時刻における相関行列を求め、いくつかの相関行列と該相関行列が意味する会議状態をあらかじめ定義した前記会議状態辞書を用いて、該時刻における相関行列と前記会議状態辞書に格納された各相関行列とを比較し、前者の相関行列に最も値が近い後者の相関行列に対応する会議状態を推定された会議状態とする、請求項１から４のいずれか１項に記載の会議状態検出方法。   In the conference state estimation step, a correlation coefficient between each participant of each time series data is calculated, a correlation matrix at the time is obtained, and several correlation matrices and a conference state that the correlation matrix means are defined in advance. Using the conference state dictionary, the correlation matrix at the time is compared with each correlation matrix stored in the conference state dictionary, and the conference state corresponding to the latter correlation matrix having the closest value to the former correlation matrix is obtained. The conference state detection method according to claim 1, wherein the conference state is estimated. 前記会議状態推定ステップでは、いくつかの時系列データと該時系列データが意味する会議状態をあらかじめ格納した前記会議状態辞書を用いて、該時刻における時系列データと前記会議状態辞書に格納された各時系列データ間の相関係数を計算し、相関係数が最も高かった後者の時系列データに対応する会議状態を推定された会議状態とする、請求項１から４のいずれかに記載の会議状態検出方法。   In the conference state estimation step, the time series data at the time and the conference state dictionary stored in the conference state dictionary are stored in advance using the conference state dictionary in which some time series data and the conference state meaning the time series data are stored. The correlation coefficient between each time series data is calculated, The meeting state corresponding to the latter time series data with the highest correlation coefficient is made into the estimated meeting state. Meeting state detection method. 前記会議状態データベースから所望の会議状態であった時刻を会議中または会議終了後に検索する会議状態検索ステップをさらに有する、請求項１から６のいずれか１項に記載の会議状態検出方法。   The conference state detection method according to any one of claims 1 to 6, further comprising a conference state search step of searching for a time in a desired conference state from the conference state database during or after the conference. 各会議参加者の生体情報を取得する生体情報取得手段と、
得られた生体情報に所定の加工を行い、結果を時系列に出力する生体情報処理手段と、
生体情報の特徴と、会議がどのような状態であるかを示す会議状態との組み合わせを記録した会議状態辞書と、
加工された複数の生体情報から前記会議状態辞書を用いて、前記生体情報が取得された時刻における会議状態を推定する会議状態推定手段と、
推定された会議状態を会議状態データベースに記録する会議状態記録手段と
を有する会議状態検出装置。 Biometric information acquisition means for acquiring biometric information of each conference participant;
Biological information processing means for performing predetermined processing on the obtained biological information and outputting the results in time series;
A conference state dictionary that records a combination of features of biometric information and a conference state that indicates what state the conference is in;
Meeting state estimation means for estimating a meeting state at the time when the biological information is acquired from the processed biological information using the meeting state dictionary;
A conference state detection device comprising: a conference state recording unit that records the estimated conference state in a conference state database. 前記会議状態データベースから所望の会議状態であった時刻を会議中または会議終了後に検索する会議状態検索手段をさらに有する、請求項８に記載の会議状態検出装置。   The conference state detection device according to claim 8, further comprising conference state search means for searching for a time in a desired conference state from the conference state database during or after the conference. 請求項１から７のいずれか１項に記載の会議状態検出方法をコンピュータに実行させるための会議状態検出プログラム。

A conference state detection program for causing a computer to execute the conference state detection method according to claim 1.

JP2004003020A 2004-01-08 2004-01-08 CONFERENCE STATE DETECTION METHOD, DEVICE, AND CONFERENCE STATE DETECTION PROGRAM Expired - Fee Related JP3980561B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004003020A JP3980561B2 (en) 2004-01-08 2004-01-08 CONFERENCE STATE DETECTION METHOD, DEVICE, AND CONFERENCE STATE DETECTION PROGRAM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004003020A JP3980561B2 (en) 2004-01-08 2004-01-08 CONFERENCE STATE DETECTION METHOD, DEVICE, AND CONFERENCE STATE DETECTION PROGRAM

Publications (2)

Publication Number Publication Date
JP2005198086A JP2005198086A (en) 2005-07-21
JP3980561B2 true JP3980561B2 (en) 2007-09-26

Family

ID=34818046

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004003020A Expired - Fee Related JP3980561B2 (en) 2004-01-08 2004-01-08 CONFERENCE STATE DETECTION METHOD, DEVICE, AND CONFERENCE STATE DETECTION PROGRAM

Country Status (1)

Country Link
JP (1) JP3980561B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5716635B2 (en) * 2011-10-31 2015-05-13 富士通株式会社 Electronic data management method, program, and electronic data management apparatus
US20210161482A1 (en) * 2017-07-28 2021-06-03 Sony Corporation Information processing device, information processing method, and computer program
JP2019101873A (en) 2017-12-05 2019-06-24 富士ゼロックス株式会社 Information processor and program
JP7400832B2 (en) * 2019-12-20 2023-12-19 日本電気株式会社 Information processing device, control method and program

Also Published As

Publication number Publication date
JP2005198086A (en) 2005-07-21

Similar Documents

Publication Publication Date Title
US9198634B2 (en) Medical decision support system
JP6849106B2 (en) Stress estimation device and stress estimation method using biological signals
US8157729B2 (en) System, method and medium editing moving pictures using biometric signals
KR101886374B1 (en) Method and program for early detection of sepsis with deep neural networks
Chen et al. Improved permutation entropy for measuring complexity of time series under noisy condition
US20100211966A1 (en) View quality judging device, view quality judging method, view quality judging program, and recording medium
US20130144180A1 (en) Methods and systems for atrial fibrillation detection
Al-Nuaimi et al. Tsallis entropy as a biomarker for detection of Alzheimer's disease
JP2015229040A (en) Emotion analysis system, emotion analysis method, and emotion analysis program
Porr et al. R-peak detector stress test with a new noisy ECG database reveals significant performance differences amongst popular detectors
US20180310867A1 (en) System and method for stress level management
Sharma et al. QRS complex detection in ECG signals using the synchrosqueezed wavelet transform
Ari et al. A robust heart sound segmentation algorithm for commonly occurring heart valve diseases
Rathod et al. Bio-signal based emotion detection device
JP3980561B2 (en) CONFERENCE STATE DETECTION METHOD, DEVICE, AND CONFERENCE STATE DETECTION PROGRAM
JP2021194476A (en) Information processing method, information processing system and program
US10965916B2 (en) Video file processing method, video file processing device and monitoring system
Oliveira et al. Coupled hidden Markov model for automatic ECG and PCG segmentation
CN105769221B (en) Brain electricity lie detecting method based on Lyapunov indexes and correlation dimension
Ninh et al. An improved subject-independent stress detection model applied to consumer-grade wearable devices
CN108814642B (en) Heart sound positioning and heart rate calculating method of electronic stethoscope
JP3822796B2 (en) Information processing apparatus, information processing program, and recording medium
Ari et al. DSP implementation of a heart valve disorder detection system from a phonocardiogram signal
Adithya et al. OCEAN: Towards Developing an Opportunistic Continuous Emotion Annotation Framework
PODARU et al. A STUDY REGARDING THE ACQUISITION OF PHOTOPLETHYSMOGRAPIC SIGNAL USED IN DETERMINATION OF THE PRV PARAMETERS.

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20050623

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060412

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070614

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070620

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070627

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100706

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110706

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120706

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130706

Year of fee payment: 6

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees