JP7354992B2 - 発言評価システム、発言評価方法、及び、プログラム - Google Patents
発言評価システム、発言評価方法、及び、プログラム Download PDFInfo
- Publication number
- JP7354992B2 JP7354992B2 JP2020192345A JP2020192345A JP7354992B2 JP 7354992 B2 JP7354992 B2 JP 7354992B2 JP 2020192345 A JP2020192345 A JP 2020192345A JP 2020192345 A JP2020192345 A JP 2020192345A JP 7354992 B2 JP7354992 B2 JP 7354992B2
- Authority
- JP
- Japan
- Prior art keywords
- utterance
- timing
- evaluation
- comment
- statement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011156 evaluation Methods 0.000 title claims description 173
- 238000004364 calculation method Methods 0.000 claims description 57
- 238000004891 communication Methods 0.000 claims description 46
- 238000001514 detection method Methods 0.000 claims description 32
- 230000033001 locomotion Effects 0.000 claims description 31
- 230000001133 acceleration Effects 0.000 claims description 30
- 238000000034 method Methods 0.000 claims description 21
- 230000005540 biological transmission Effects 0.000 description 35
- 238000012545 processing Methods 0.000 description 17
- 238000006243 chemical reaction Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 238000013500 data storage Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000009471 action Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/78—Detection of presence or absence of voice signals
- G10L25/87—Detection of discrete points within a voice signal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
- G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
- H04M3/563—User guidance or feature selection
- H04M3/566—User guidance or feature selection relating to a participants right to speak
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
- H04M3/568—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities audio processing specific to telephonic conferencing, e.g. spatial distribution, mixing of participants
- H04M3/569—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities audio processing specific to telephonic conferencing, e.g. spatial distribution, mixing of participants using the instant speaker's algorithm
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
- G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
- G01P15/18—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration in two or more dimensions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
- G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
- G06F2200/163—Indexing scheme relating to constructional details of the computer
- G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L2015/088—Word spotting
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Signal Processing (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- User Interface Of Digital Computer (AREA)
- Telephonic Communication Services (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
本発明は、発言評価システム、発言評価方法、及び、プログラムに関する。
複数の参加者から構成されるコミュニケーションにおいては、複数の参加者の個々の発言の中で特に聞き手が納得するような重要な発言を抽出したいというニーズがある。
この種の技術として、特許文献１は、複数のユーザが参加する会話コミュニケーションにおいて、特定の話し手が装着したウェアラブル端末を用いて、特定の話し手が会話している間に聞き手が頷いた回数をカウントし、聞き手の頷き回数を特定の話し手の会話時間で割った値に基づいて、特定の話し手に対する聞き手受容度Rcを算出している（段落００８０、００９３）。そして、聞き手受容度Rcが高いほど、その会話が聞き手に受け入れられたとしている。
特許文献１の技術には、発言に対する評価の検出精度について改善の余地が残されている。
本発明の目的は、複数の参加者から構成されるコミュニケーションにおいて、発言毎に当該発言に対する評価値を精度良く求める技術を提供することにある。
本願発明の第１の観点によれば、複数の参加者から構成されるコミュニケーションにおいて、発言毎に当該発言に対する評価値を求める発言評価システムであって、前記複数の参加者のそれぞれに装着され、各々が少なくとも集音部を含むセンサを有する、複数のウェアラブル端末と、前記複数のウェアラブル端末の集音部の出力値に基づいて、前記コミュニケーションにおける発言を検出すると共に、検出した発言に対応するウェアラブル端末を特定する発言検出部と、前記発言検出部が検出した発言毎に、当該発言の開始タイミングと終了タイミングを検出する発言期間検出部と、前記発言検出部が検出した発言毎に、当該発言の前記開始タイミング以降であって前記終了タイミングよりも前である第１のタイミングから、当該発言の前記終了タイミングよりも後である第２のタイミングまでの間の発言評価対象期間における、当該発言に対応したウェアラブル端末以外のウェアラブル端末の前記センサの出力値に基づいて、当該発言に対する評価値を算出する評価値算出部と、を備えた、発言評価システムが提供される。以上の構成によれば、発言中の聞き手の反応に加えて発言に対して遅れて発生した聞き手の反応も当該発言に対する評価値の算出に反映されるので、発言毎に、当該発言に対する評価値を精度良く求めることができる。
好ましくは、前記第２のタイミングは、対応する発言の前記終了タイミングから所定時間経過したタイミングに設定される。以上の構成によれば、前記第２のタイミングを設定するのに要する演算が簡素となるので、前記第２のタイミングを低コストに設定することができる。
好ましくは、前記第２のタイミングは、対応する発言に続く他の発言が開始したタイミングに設定される。以上の構成によれば、他の発言に対する反応を除外して評価値を算出できるので、対応する発言に対する評価値を精度よく求めることができる。
好ましくは、前記第２のタイミングは、対応する発言の前記終了タイミングから所定時間経過したタイミングに設定され、対応する発言の前記終了タイミングから所定時間経過する前に、対応する発言に続いて他の発言が開始した場合、前記第２のタイミングは、対応する発言に続く他の発言が開始したタイミングに設定される。以上の構成によれば、対応する発言の前記終了タイミングから所定時間経過する前に、対応する発言に続いて他の発言が開始しなかった場合は、前記第２のタイミングを低コストに設定することができるし、対応する発言の前記終了タイミングから所定時間経過する前に、対応する発言に続いて他の発言が開始した場合は、他の発言に対する反応を除外して評価値を算出できるので、対応する発言に対する評価値を精度よく求めることができる。
好ましくは、前記センサは、加速度センサを含む。
好ましくは、前記評価値算出部は、前記加速度センサの出力値が、対応するウェアラブル端末を装着した参加者の首を縦に振る動作を示す場合、対応する発言に対する評価値が高まるように評価値を算出する。
好ましくは、前記評価値算出部は、前記加速度センサの出力値が、対応するウェアラブル端末を装着した参加者の首を横に振る動作を示す場合、対応する発言に対する評価値が低まるように評価値を算出する。
本願発明の第２の観点によれば、複数の参加者から構成されるコミュニケーションにおいて、発言毎に当該発言に対する評価値を求める発言評価方法であって、前記複数の参加者のそれぞれには、各々が少なくとも集音部を含むセンサを有する、複数のウェアラブル端末が装着されており、前記複数のウェアラブル端末の集音部の出力値に基づいて、前記コミュニケーションにおける発言を検出すると共に、検出した発言に対応するウェアラブル端末を特定することと、検出した発言毎に、当該発言の開始タイミングと終了タイミングを検出することと、検出した発言毎に、当該発言の前記開始タイミング以降であって前記終了タイミングよりも前である第１のタイミングから、当該発言の前記終了タイミングよりも後である第２のタイミングまでの間の発言評価対象期間における、当該発言に対応したウェアラブル端末以外のウェアラブル端末の前記センサの出力値に基づいて、当該発言に対する評価値を算出すること、を含む、発言評価方法が提供される。以上の方法によれば、発言中の聞き手の反応に加えて発言に対して遅れて発生した聞き手の反応も当該発言に対する評価値の算出に反映されるので、発言毎に、当該発言に対する評価値を精度良く求めることができる。
また、コンピュータに、上記の発言評価方法を実行させるためのプログラムが提供される。
好ましくは、前記第２のタイミングは、対応する発言の前記終了タイミングから所定時間経過したタイミングに設定される。以上の構成によれば、前記第２のタイミングを設定するのに要する演算が簡素となるので、前記第２のタイミングを低コストに設定することができる。
好ましくは、前記第２のタイミングは、対応する発言に続く他の発言が開始したタイミングに設定される。以上の構成によれば、他の発言に対する反応を除外して評価値を算出できるので、対応する発言に対する評価値を精度よく求めることができる。
好ましくは、前記第２のタイミングは、対応する発言の前記終了タイミングから所定時間経過したタイミングに設定され、対応する発言の前記終了タイミングから所定時間経過する前に、対応する発言に続いて他の発言が開始した場合、前記第２のタイミングは、対応する発言に続く他の発言が開始したタイミングに設定される。以上の構成によれば、対応する発言の前記終了タイミングから所定時間経過する前に、対応する発言に続いて他の発言が開始しなかった場合は、前記第２のタイミングを低コストに設定することができるし、対応する発言の前記終了タイミングから所定時間経過する前に、対応する発言に続いて他の発言が開始した場合は、他の発言に対する反応を除外して評価値を算出できるので、対応する発言に対する評価値を精度よく求めることができる。
好ましくは、前記センサは、加速度センサを含む。
好ましくは、前記評価値算出部は、前記加速度センサの出力値が、対応するウェアラブル端末を装着した参加者の首を縦に振る動作を示す場合、対応する発言に対する評価値が高まるように評価値を算出する。
好ましくは、前記評価値算出部は、前記加速度センサの出力値が、対応するウェアラブル端末を装着した参加者の首を横に振る動作を示す場合、対応する発言に対する評価値が低まるように評価値を算出する。
本願発明の第２の観点によれば、複数の参加者から構成されるコミュニケーションにおいて、発言毎に当該発言に対する評価値を求める発言評価方法であって、前記複数の参加者のそれぞれには、各々が少なくとも集音部を含むセンサを有する、複数のウェアラブル端末が装着されており、前記複数のウェアラブル端末の集音部の出力値に基づいて、前記コミュニケーションにおける発言を検出すると共に、検出した発言に対応するウェアラブル端末を特定することと、検出した発言毎に、当該発言の開始タイミングと終了タイミングを検出することと、検出した発言毎に、当該発言の前記開始タイミング以降であって前記終了タイミングよりも前である第１のタイミングから、当該発言の前記終了タイミングよりも後である第２のタイミングまでの間の発言評価対象期間における、当該発言に対応したウェアラブル端末以外のウェアラブル端末の前記センサの出力値に基づいて、当該発言に対する評価値を算出すること、を含む、発言評価方法が提供される。以上の方法によれば、発言中の聞き手の反応に加えて発言に対して遅れて発生した聞き手の反応も当該発言に対する評価値の算出に反映されるので、発言毎に、当該発言に対する評価値を精度良く求めることができる。
また、コンピュータに、上記の発言評価方法を実行させるためのプログラムが提供される。
本発明によれば、発言中の聞き手の反応に加えて発言に対して遅れて発生した聞き手の反応も当該発言に対する評価値の算出に反映されるので、発言毎に、当該発言に対する評価値を精度良く求めることができる。
以下、発明の実施形態を通じて本発明を説明するが、特許請求の範囲に係る発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。
図１には、発言評価システム１の概略図を示している。発言評価システム１は、複数の参加者２から構成されるコミュニケーションにおいて、発言毎に当該発言に対する評価値を求めるシステムである。発言評価システム１は、複数のウェアラブル端末３と評価装置４を含む。
本実施形態において、同一のコミュニケーションを構成する参加者２の人数は３人としているが、これに限定されず、２人でもよいし、４人以上でもよく、例えば１０人でもよい。コミュニケーションは、典型的には、各人の発言によって成立する会話形式のコミュニケーションである。この種のコミュニケーションは、例えば、討論会、座談会、研修会である。ただし、コミュニケーションは、参加者全員が同じ現実の空間に集合して行われるものに限らず、オンライン上の仮想の空間に集合して行われるものも含み得る。
（ウェアラブル端末３）
図１に示すように、複数のウェアラブル端末３は、それぞれ、複数の参加者２に装着されて用いられる。即ち、一人の参加者２が１つのウェアラブル端末３を装着する。本実施形態において、ウェアラブル端末３は、参加者２の上半身に着るトップスに着脱可能なバッジであって、好ましくは鳩尾（みぞおち）よりも上に取り付けられる。ただし、ウェアラブル端末３は、バッジであることに代えて、ヘッドセットやイヤホン、メガネ、ネックレス、ペンダント等であってもよい。
図１に示すように、複数のウェアラブル端末３は、それぞれ、複数の参加者２に装着されて用いられる。即ち、一人の参加者２が１つのウェアラブル端末３を装着する。本実施形態において、ウェアラブル端末３は、参加者２の上半身に着るトップスに着脱可能なバッジであって、好ましくは鳩尾（みぞおち）よりも上に取り付けられる。ただし、ウェアラブル端末３は、バッジであることに代えて、ヘッドセットやイヤホン、メガネ、ネックレス、ペンダント等であってもよい。
図２には、各ウェアラブル端末３の機能ブロック図を示している。図２に示すように、ウェアラブル端末３は、端末ＩＤ情報記憶部１０と、マイクロフォン１１と、加速度センサ１２と、を含む。ウェアラブル端末３は、更に、中央演算処理器としてのCPU３ａ（Central Processing Unit）と、読み書き自由のRAM３ｂ（Random Access Memory）、読み出し専用のROM３ｃ（Read Only Memory）を備えている。そして、CPU３ａがROM３ｃに記憶されている制御プログラムを読み出して実行することで、制御プログラムは、CPU３ａなどのハードウェアを、時刻カウント部１３、送信データ生成部１４、データ送受信部１５として機能させる。各ウェアラブル端末３は、データ送受信部１５を介して評価装置４と双方向無線通信可能とされている。
端末ＩＤ情報記憶部１０は、対応するウェアラブル端末３を他のウェアラブル端末３から識別するための端末ＩＤ情報を記憶する。端末ＩＤ情報は、典型的には、ウェアラブル端末３に固有のＭＡＣアドレスが挙げられる。しかし、端末ＩＤ情報は、ウェアラブル端末３の起動時に評価装置４によって設定される数字、文字、またはそれらの組み合わせであってもよい。本実施形態において端末ＩＤ情報は、ウェアラブル端末３の起動時に評価装置４によって設定される自然数としている。
マイクロフォン１１は、集音部の一具体例であって、対応するウェアラブル端末３の周囲の音を電圧値に変換し、送信データ生成部１４に出力する。
加速度センサ１２は、対応するウェアラブル端末３の３軸加速度を電圧値に変換し、送信データ生成部１４に出力する。対応するウェアラブル端末３を装着した参加者２が首を『縦』に振った場合、参加者２の上体がロール軸（左肩と右肩を結ぶ軸に対して平行な軸）まわりで屈曲と伸展を繰り返す。従って、この場合、加速度センサ１２の出力値のうち鉛直成分値が所定範囲内で増減を繰り返すように変動する。一方、対応するウェアラブル端末３を装着した参加者２が首を『横』に振った場合、参加者２の上体がヨー軸（背骨が延びる方向に対して平行な軸）まわりで捻転を繰り返す。従って、この場合、加速度センサ１２の出力値のうち水平成分値に対応する出力値が所定範囲内で増減を繰り返すように変動する。
マイクロフォン１１及び加速度センサ１２は、対応するウェアラブル端末３を装着した参加者２の言動を検出するためのセンサ１６を構成する。ただし、加速度センサ１２は省略してもよい。
時刻カウント部１３は、時刻データを有し、所定の方法により初期化された時刻データを所定の周期でインクリメントすると共に、時刻データを送信データ生成部１４に出力する。時刻カウント部１３が有する時刻データは、典型的には、評価装置４から受信した時刻データによって初期化される。これに代えて、時刻カウント部１３が有する時刻データは、対応するウェアラブル端末３が評価装置４及びインターネットを介してネットワークタイムプロトコル（Ｎｅｔｗｏｒｋ Ｔｉｍｅ Ｐｒｏｔｏｃｏｌ、ＮＴＰ）にアクセスして最新の時刻データを取得することによって初期化してもよい。
送信データ生成部１４は、図３に示す送信データ１４ａを所定のインターバルで生成する。図３に示すように、送信データ１４ａは、端末ＩＤ情報と、時刻データと、音声データと、加速度データと、を含む。所定のインターバルは、典型的には１秒である。音声データは、時刻データが示す時刻から１秒経過するまでのマイクロフォン１１の出力値である。同様に、加速度データは、時刻データが示す時刻から１秒経過するまでの加速度センサ１２の出力値である。
図２に戻り、データ送受信部１５は、送信データ１４ａを評価装置４に送信する。本実施形態においてデータ送受信部１５は、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信により、評価装置４に送信データ１４ａを送信する。しかし、これに代えて、データ送受信部１５は、有線通信により、評価装置４に送信データ１４ａを送信してもよい。また、データ送受信部１５は、インターネット等のネットワークを介して、評価装置４に送信データ１４ａを送信してもよい。
（評価装置４）
図４は、評価装置４の機能ブロック図を示している。図４に示すように、評価装置４は、中央演算処理器としてのCPU４ａ（Central Processing Unit）と、読み書き自由のRAM４ｂ（Random Access Memory）、読み出し専用のROM４ｃ（Read Only Memory）を備えている。そして、CPU４ａがROM４ｃに記憶されている制御プログラムを読み出して実行することで、制御プログラムは、CPU４ａなどのハードウェアを、データ送受信部２０、データ記憶部２１、発言検出部２２、発言期間検出部２３、同調割合算出部２４、強調処理部２５、評価値算出部２６、評価値出力部２７、として機能させる。
図４は、評価装置４の機能ブロック図を示している。図４に示すように、評価装置４は、中央演算処理器としてのCPU４ａ（Central Processing Unit）と、読み書き自由のRAM４ｂ（Random Access Memory）、読み出し専用のROM４ｃ（Read Only Memory）を備えている。そして、CPU４ａがROM４ｃに記憶されている制御プログラムを読み出して実行することで、制御プログラムは、CPU４ａなどのハードウェアを、データ送受信部２０、データ記憶部２１、発言検出部２２、発言期間検出部２３、同調割合算出部２４、強調処理部２５、評価値算出部２６、評価値出力部２７、として機能させる。
データ送受信部２０は、各ウェアラブル端末３から送信データ１４ａを受信し、受信した送信データ１４ａをデータ記憶部２１に蓄積する。図５は、データ記憶部２１に蓄積された送信データ１４ａを示している。図５に示すように、データ記憶部２１には、各ウェアラブル端末３から受信した送信データ１４ａが受信した順番のまま蓄積される。
図４に戻り、発言検出部２２は、複数のウェアラブル端末３のマイクロフォン１１の出力値に基づいて、コミュニケーションにおける発言を検出すると共に、検出した発言に対応するウェアラブル端末３を特定する。
具体的には、発言検出部２２は、データ記憶部２１に蓄積された音声データを分析し、ある時刻における複数の送信データ１４ａの何れか１つの送信データ１４ａの音声データが所定値を超えている場合、当該ある時刻においてコミュニケーションにおいて発言があったと検出すると共に、当該送信データ１４ａの端末ＩＤ情報を参照することで、検出した発言に対応するウェアラブル端末３を特定する。
図６は、発言検出部２２が検出した発言ａ、発言ｂ、発言ｃ、発言ｄを例示している。図６の横軸は時間である。発言検出部２２は、発言ａ、発言ｂ、発言ｃ、発言ｄを互いに重複なく、この記載順で検出している。発言ａ及び発言ｃは、端末ＩＤ：１のウェアラブル端末３を装着した参加者２による発言である。同様に、発言ｂは、端末ＩＤ：２のウェアラブル端末３を装着した参加者２による発言であり、発言ｄは、端末ＩＤ：３のウェアラブル端末３を装着した参加者２による発言である。
なお、発言検出部２２が発言を検出すると共に、検出した発言に対応するウェアラブル端末３を特定する方法は、上記の方法に限られない。
例えば、ある時刻における複数の送信データ１４ａの何れか１つの送信データ１４ａの音声データが同時刻の他の送信データ１４ａの音声データよりも所定量以上大きい場合、当該ある時刻においてコミュニケーションにおいて発言があったと検出すると共に、当該送信データ１４ａの端末ＩＤ情報を参照することで、検出した発言に対応するウェアラブル端末３を特定することができる。
また、発言検出部２２は、発言を検出するための前処理として、音声データに含まれる定常ノイズを除去するようにしてもよい。定常ノイズとは、例えば、エアコンの稼働音や周囲のざわつきに起因するノイズである。また、発言検出部２２は、発言を検出するための前処理として、音声データに含まれる非定常ノイズを除去するようにしてもよい。非定常ノイズとは、コミュニケーションに参加していない非参加者の突発的な大声やドアの開閉に起因する物音に起因するノイズである。このような非定常ノイズは、ある時刻における複数の送信データ１４ａの音声データにほとんど同じレベルで現れる性質を有する。
図４に戻り、発言期間検出部２３は、発言検出部２２が検出した発言毎に、当該発言の開始タイミングと終了タイミングを検出する。図６の例では、発言ａの開始タイミングは時刻ｔ１であり、終了タイミングは時刻ｔ２である。発言ｂの開始タイミングは時刻ｔ４であり、終了タイミングは時刻ｔ５である。発言ｃの開始タイミングは時刻ｔ６であり、終了タイミングは時刻ｔ７である。発言ｄの開始タイミングは時刻ｔ８であり、終了タイミングは時刻ｔ９である。なお、本明細書において『タイミング』は、時間軸上のある時点を特定する概念であるが、時分秒から構成される時刻であってもよいし、時間の経過と共にインクリメントされる単なる自然数であってもよい。従って、本明細書において『タイミング』は単に『時刻』と読み替えてもよい。
図４に戻り、同調割合算出部２４は、所定の時間区間毎に同調割合を算出する。ここで、同調割合とは、複数の聞き手のうち頷いた聞き手の人数を聞き手全員の人数で割ることで求められる割合であって、０以上１以下の値である。所定の時間区間は、例えば５秒間である。この時間区間が過大であると、異なるタイミングでの頷き動作であっても同じタイミングでの頷き動作として取り扱ってしまうので、発言に対する同調動作を過大評価してしまう。この時間区間が過小であると、ほとんど同じタイミングでの頷き動作であっても異なるタイミングでの頷き動作として取り扱ってしまうので、発言に対する同調動作を過小評価してしまう。
同調割合算出部２４は、まず、図５に示す蓄積された送信データ１４ａを参照して、発言ａの最中における同調割合を算出する。即ち、同調割合算出部２４は、ｔ１から５秒経過するまでの間に、端末ＩＤ：２に対応する送信データ１４ａの加速度データを分析し、端末ＩＤ：２に対応するウェアラブル端末３を装着した参加者２が頷き動作をしたか判定する。加速度データから頷き動作の有無を判定する具体例は以下の通りである。
即ち、同調割合算出部２４は、時刻ｔ１から５秒経過するまでの間の加速度データの鉛直成分値を抽出し、抽出した鉛直成分値の平均値と標準偏差を算出し、標準偏差が所定の値よりも小さく、平均値から所定量離れた鉛直成分値が単発的に存在する場合、時刻ｔ１から５秒経過するまでの間に端末ＩＤ：２に対応するウェアラブル端末３を装着した参加者２が頷き動作をしたと判定する。端末ＩＤ：３についても同様である。同調割合算出部２４は、上記の同調割合の算出を時刻ｔ１から５秒経過した後も同様に繰り返し、発言ａ以外の発言があった時刻ｔ４で終了する。
同調割合算出部２４が頷き動作の有無を判定するに際し、加速度データの鉛直成分値の標準偏差が所定の値よりも小さいことを前提条件とすることで、参加者２の歩行動作や姿勢の変更といった頷き動作以外の大きな動作に起因するノイズを除去することができる。
図６の例では、時刻ｔ１から時刻ｔ２にかけて、同調割合は０付近から一度急上昇し、一旦降下した後、再度上昇している。同調割合は、時刻ｔ２の前後で一定に推移し、その後、時刻ｔ４に至る前にほぼゼロに戻っている。
なお、図６の例では、聞き手の人数が２人だけであるので、本来であれば同調割合は０、０．５、１．０の何れかの値となる。しかしながら、理解促進のため、あたかも聞き手の人数が３０人程度であるかの如く、同調割合を緩やかに変化させている。
次に、同調割合算出部２４は、発言ｂの最中における同調割合を算出する。即ち、同調割合算出部２４は、時刻ｔ４から５秒経過するまでの間に、端末ＩＤ：１に対応する送信データ１４ａの加速度データを分析し、端末ＩＤ：１に対応するウェアラブル端末３を装着した参加者２が頷き動作をしたか判定する。端末ＩＤ：３についても同様である。同調割合算出部２４は、上記の同調割合の算出を時刻ｔ４から５秒経過した後も同様に繰り返し、発言ｂ以外の発言があった時刻ｔ６で終了する。
図６の例では、時刻ｔ４から時刻ｔ５にかけて同調割合は０．５未満で推移し、時刻ｔ５前後ではほぼ０を示している。
同調割合算出部２４は、時刻ｔ６以降の同調割合についても同様に算出する。
なお、同調割合算出部２４が頷き動作の有無を判定する他の方法としては、送信データ１４ａから所定の時間区間毎に鉛直成分値を抽出し、抽出した鉛直成分値を学習済みの畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ ＮｅｔｗｏｒｋＣＮＮ）に入力し、畳み込みニューラルネットワークの出力値が所定値以上であった場合、当該時間区間において、当該ウェアラブル端末３を装着した参加者２が頷き動作をしたと判定するようにしてもよい。また、同調割合算出部２４が頷き動作の有無を判定する他の方法としては、送信データ１４ａから所定の時間区間毎に鉛直成分値を抽出し、抽出した鉛直成分値の様々な特徴量（最大値と最小値との差分、分散値、周波数分布など）を算出し、算出した特徴量を学習済みのサポートベクターマシン（support vector machine, SVM）に入力し、その出力値を用いてもよい。
図４に戻り、強調処理部２５は、同調割合算出部２４が算出した同調割合に対して、同調割合の高低を強調する強調処理を行う。強調処理には、例えば、単調増加関数である下記式（１）を使用し得る。ここで、ｐは同調割合を示し、ｋは調整パラメータである。
図７には、強調処理部２５による強調処理で用いられる上記式（１）のグラフであって、横軸は同調割合であり、縦軸はｆ（ｐ）値を示す。調整パラメータｋが大きいほど、ｆ（ｐ）値が描く曲線はグラフ上では右下に向かて鋭い凸となる曲線となる。上記式（１）による強調処理によれば、聞き手のほとんどが一斉に頷き動作をした場合、ｆ（ｐ）値は大きな値となり、聞き手が異なるタイミングで散発的に頷き動作をした場合、ｆ（ｐ）値は小さな値となる。このような強調処理により、聞き手のほとんどが一斉に頷き動作をするような重要な発言を相対的に重要でない発言と比較して際立たせることができる。
図８には、強調処理後のｆ（ｐ）値を示している。図８によれば、聞き手のほとんどが一斉に頷き動作をしなかった場合、ある程度の聞き手が頷き動作をした時間区間であっても、その時間区間におけるｆ（ｐ）値が半減或いはゼロに近い値に圧縮される。
評価値算出部２６は、発言検出部２２が検出した発言毎に、当該発言に対応する発言評価対象期間としての評価期間を設定すると共に、当該発言に対する評価値を算出する。
（発言ａ）
具体的には、評価値算出部２６は、発言ａに対応する評価期間の開始タイミング（第１のタイミング）を、発言ａの開始タイミングである時刻ｔ１以降であって終了タイミングである時刻ｔ２よりも前に設定する。本実施形態において評価値算出部２６は、発言ａに対応する評価期間の開始タイミングを、発言ａの開始タイミングである時刻ｔ１に設定する。なお、発言の開始直後の頷き動作は必ずしも当該発言に対する頷き動作であるとは限らず、当該発言の直前の発言に対する頷き動作である可能性がある。従って、発言ａに対する頷き動作と、発言ａの直前の発言に対する頷き動作と、をうまく切り分けるために、評価値算出部２６は、発言ａに対応する評価期間の開始タイミングを、発言ａの開始タイミングである時刻ｔ１から所定時間経過したタイミングに設定してもよい。
具体的には、評価値算出部２６は、発言ａに対応する評価期間の開始タイミング（第１のタイミング）を、発言ａの開始タイミングである時刻ｔ１以降であって終了タイミングである時刻ｔ２よりも前に設定する。本実施形態において評価値算出部２６は、発言ａに対応する評価期間の開始タイミングを、発言ａの開始タイミングである時刻ｔ１に設定する。なお、発言の開始直後の頷き動作は必ずしも当該発言に対する頷き動作であるとは限らず、当該発言の直前の発言に対する頷き動作である可能性がある。従って、発言ａに対する頷き動作と、発言ａの直前の発言に対する頷き動作と、をうまく切り分けるために、評価値算出部２６は、発言ａに対応する評価期間の開始タイミングを、発言ａの開始タイミングである時刻ｔ１から所定時間経過したタイミングに設定してもよい。
また、評価値算出部２６は、発言ａに対する評価期間の終了タイミング（第２のタイミング）を、発言ａの終了タイミングである時刻ｔ２から所定時間経過したタイミングである時刻ｔ３に設定する。ここで、所定時間は、例えば、５秒から１５秒の範囲とすることが好ましく、本実施形態では１５秒としている。
そして、評価値算出部２６は、発言ａに対応する評価期間におけるｆ（ｐ）値を合算することで、発言ａに対する評価値を算出する。
（発言ｂ）
評価値算出部２６は、同様の方法により、発言ｂに対応する評価期間の開始タイミングを時刻ｔ４に設定する。
評価値算出部２６は、同様の方法により、発言ｂに対応する評価期間の開始タイミングを時刻ｔ４に設定する。
一方、図８によれば、発言ｂの終了タイミングである時刻ｔ５から上記所定時間が経過する前に発言ｃが開始している。従って、発言ｂに対応する評価期間の終了タイミングを、発言ａに対応する評価期間の終了タイミングと同様に時刻ｔ５から上記所定時間経過したタイミングに設定すると、発言ｃに対する頷き動作を発言ｂに対する頷き動作として取り扱ってしまう虞がある。従って、この場合、評価値算出部２６は、発言ｂに対応する評価期間の終了タイミングは、発言ｃが開始した時刻ｔ６に設定する。
図８の例では、発言ｂの最中のｆ（ｐ）値は極めて低調だったものの、発言ｃが開始するやいなや大きなある程度大きなｆ（ｐ）値が観測されている。恐らくは、時刻ｔ６直後のある程度大きなｆ（ｐ）値は、発言ｂによるものではなく発言ｃによるものだと考えられる。従って、上記の通り発言ｂに対応する評価期間の終了タイミングを発言ｃが開始した時刻ｔ６に設定したことで、発言ｂを過大評価することを免れている。
そして、評価値算出部２６は、発言ｂに対応する評価期間におけるｆ（ｐ）値を合算することで、発言ｂに対する評価値を算出する。
（発言ｃ）
評価値算出部２６は、発言ｂと同様の方法により、発言ｃに対応する評価期間の開始タイミングと終了タイミングを設定し、発言ｃに対応する評価期間におけるｆ（ｐ）値を合算することで、発言ｃに対する評価値を算出する。
評価値算出部２６は、発言ｂと同様の方法により、発言ｃに対応する評価期間の開始タイミングと終了タイミングを設定し、発言ｃに対応する評価期間におけるｆ（ｐ）値を合算することで、発言ｃに対する評価値を算出する。
（発言ｄ）
評価値算出部２６は、発言ａと同様の方法により、発言ｄに対応する評価期間の開始タイミングと終了タイミングを設定し、発言ｄに対応する評価期間におけるｆ（ｐ）値を合算することで、発言ｄに対する評価値を算出する。
評価値算出部２６は、発言ａと同様の方法により、発言ｄに対応する評価期間の開始タイミングと終了タイミングを設定し、発言ｄに対応する評価期間におけるｆ（ｐ）値を合算することで、発言ｄに対する評価値を算出する。
そして、評価値算出部２６は、図９に示すように、発言検出部２２が検出した発言を、当該発言の開始時刻、音声データ、及び、当該発言に対する評価値と関連付けてデータ記憶部２１に評価データとして格納する。発言に対する評価値は、当該発言の重要度を示す有力な指標となり得る。
そして、評価値出力部２７は、評価データを所望の方法により出力する。
複数の参加者２は、出力された評価データを参照することにより、コミュニケーションにおいて重要と思われる高評価な発言の音声データを短時間で簡単に入手することができる。従って、コミュニケーションの議事録を作成しようとする参加者２にとっては、高評価な発言の音声データを優先的に視聴することにより、より短時間でコミュニケーションの内容を反芻することができ、より短時間で的確な議事録を作成することができる。
以下、図１０を参照して、発言評価システム１の動作を説明する。
S100:
まず、評価装置４は、複数の参加者２で構成されるコミュニケーションが開始したか判定する。コミュニケーションが開始していないと判定した場合は（S100:NO）、評価装置４は、S100を繰り返す。一方、コミュニケーションが開始したと判定した場合は（S100:YES）、評価装置４は、処理をS110に進める。例えば、評価装置４と複数のウェアラブル端末３との通信が確立した場合、評価装置４は、コミュニケーションが開始したと判定することができる。
まず、評価装置４は、複数の参加者２で構成されるコミュニケーションが開始したか判定する。コミュニケーションが開始していないと判定した場合は（S100:NO）、評価装置４は、S100を繰り返す。一方、コミュニケーションが開始したと判定した場合は（S100:YES）、評価装置４は、処理をS110に進める。例えば、評価装置４と複数のウェアラブル端末３との通信が確立した場合、評価装置４は、コミュニケーションが開始したと判定することができる。
S110:
次に、データ送受信部２０は、複数のウェアラブル端末３から送信データ１４ａを受信してデータ記憶部２１に蓄積する。
次に、データ送受信部２０は、複数のウェアラブル端末３から送信データ１４ａを受信してデータ記憶部２１に蓄積する。
S120:
次に、評価装置４は、複数の参加者２で構成されるコミュニケーションが終了したか判定する。コミュニケーションが終了していないと判定した場合は（S120:NO）、評価装置４は、処理をS110に戻す。一方、コミュニケーションが終了したと判定した場合は（S120:YES）、評価装置４は、処理をS130に進める。例えば、評価装置４と通信状態にあったすべてのウェアラブル端末３と評価装置４との通信が切断された場合、評価装置４は、コミュニケーションが終了したと判定することができる。
次に、評価装置４は、複数の参加者２で構成されるコミュニケーションが終了したか判定する。コミュニケーションが終了していないと判定した場合は（S120:NO）、評価装置４は、処理をS110に戻す。一方、コミュニケーションが終了したと判定した場合は（S120:YES）、評価装置４は、処理をS130に進める。例えば、評価装置４と通信状態にあったすべてのウェアラブル端末３と評価装置４との通信が切断された場合、評価装置４は、コミュニケーションが終了したと判定することができる。
S130:
次に、発言検出部２２は、データ記憶部２１に蓄積された送信データ１４ａを参照して、コミュニケーションにおける発言を検出すると共に、検出した発言に対応するウェアラブル端末３を特定する。
次に、発言検出部２２は、データ記憶部２１に蓄積された送信データ１４ａを参照して、コミュニケーションにおける発言を検出すると共に、検出した発言に対応するウェアラブル端末３を特定する。
S140:
次に、発言期間検出部２３は、発言検出部２２が検出した発言毎に、当該発言の開始タイミングと終了タイミングを検出する。
次に、発言期間検出部２３は、発言検出部２２が検出した発言毎に、当該発言の開始タイミングと終了タイミングを検出する。
S150:
次に、同調割合算出部２４は、所定の時間区間毎に同調割合を算出する。
次に、同調割合算出部２４は、所定の時間区間毎に同調割合を算出する。
S160:
次に、強調処理部２５は、同調割合算出部２４が算出した同調割合に対して、同調割合の高低を強調する強調処理を行う。
次に、強調処理部２５は、同調割合算出部２４が算出した同調割合に対して、同調割合の高低を強調する強調処理を行う。
S170:
次に、評価値算出部２６は、発言検出部２２が検出した発言毎に、当該発言に対応する評価期間を設定すると共に、当該発言に対する評価値を算出する。
次に、評価値算出部２６は、発言検出部２２が検出した発言毎に、当該発言に対応する評価期間を設定すると共に、当該発言に対する評価値を算出する。
S180:
そして、評価値出力部２７は、評価データを所望の方法により出力する。
そして、評価値出力部２７は、評価データを所望の方法により出力する。
以上に、本願発明の好適な実施形態を説明したが、上記実施形態は、以下の特徴を有する。
即ち、複数の参加者２から構成されるコミュニケーションにおいて、発言毎に当該発言に対する評価値を求める発言評価システム１は、複数のウェアラブル端末３と、発言検出部２２と、発言期間検出部２３と、評価値算出部２６と、を備える。
複数のウェアラブル端末３は、複数の参加者２のそれぞれに装着され、各々が少なくともマイクロフォン１１（集音部）を含むセンサ１６を有する。発言検出部２２は、複数のウェアラブル端末３のマイクロフォン１１の出力値に基づいて、コミュニケーションにおける発言を検出すると共に、検出した発言に対応するウェアラブル端末３を特定する。発言期間検出部２３は、発言検出部２２が検出した発言毎に、当該発言の開始タイミングと終了タイミングを検出する。評価値算出部２６は、発言検出部２２が検出した発言毎に、当該発言の開始タイミング以降であって終了タイミングよりも前である第１のタイミングから、当該発言の終了タイミングよりも後である第２のタイミングまでの間の評価期間（発言評価対象期間）における、当該発言に対応したウェアラブル端末３以外のウェアラブル端末３の加速度センサ１２の出力値に基づいて、当該発言に対する評価値を算出する。以上の構成によれば、発言中の聞き手の反応に加えて発言に対して遅れて発生した聞き手の反応も当該発言に対する評価値の算出に反映されるので、発言毎に、当該発言に対する評価値を精度良く求めることができる。
また、第２のタイミングは、対応する発言の終了タイミングから所定時間経過したタイミングに設定される。例えば、図８の時刻ｔ３や時刻ｔ１０を参照されたい。以上の構成によれば、第２のタイミングを設定するのに要する演算が簡素となるので、第２のタイミングを低コストに設定することができる。
また、第２のタイミングは、対応する発言に続く他の発言が開始したタイミングに設定される。例えば、図８の時刻ｔ６や時刻ｔ８を参照されたい。以上の構成によれば、他の発言に対する反応を除外して評価値を算出できるので、対応する発言に対する評価値を精度よく求めることができる。
また、第２のタイミングは、対応する発言の終了タイミングから所定時間経過したタイミングに設定され（時刻ｔ３や時刻ｔ１０を参照）、対応する発言の終了タイミングから所定時間経過する前に、対応する発言に続いて他の発言（発言ｃや発言ｄ）が開始した場合、第２のタイミングは、対応する発言に続く他の発言が開始したタイミングに設定される。例えば、図８の時刻ｔ６や時刻ｔ８を参照されたい。以上の構成によれば、対応する発言の終了タイミングから所定時間経過する前に、対応する発言に続いて他の発言が開始しなかった場合は、第２のタイミングを低コストに設定することができるし、対応する発言の終了タイミングから所定時間経過する前に、対応する発言に続いて他の発言が開始した場合は、他の発言に対する反応を除外して評価値を算出できるので、対応する発言に対する評価値を精度よく求めることができる。
評価値算出部２６は、加速度センサ１２の出力値が、対応するウェアラブル端末３を装着した参加者の首を縦に振る動作を示す場合、対応する発言に対する評価値が高まるように評価値を算出する。即ち、首を縦に振る動作は同調行為とみなせるので、対応する発言は相対的に高評価であるとみなすことができる。
上記の実施形態は以下のように変更できる。
上記実施形態では、同調割合算出部２４は、加速度データの鉛直成分値を抽出し、抽出した鉛直成分値に基づいて参加者２の頷き動作を検出している。しかし、これに代えて、又は、これに加えて、加速度データの水平成分値を抽出し、抽出した水平成分値に基づいて参加者２の首を横に振る動作、即ち拒否動作を検出するようにしてもよい。首を横に振る動作は、頷き動作、即ち、首を縦に振る動作と対照的な動作であって、発言に対して否定的で不同意な意思表示を示唆する。この場合、同調割合算出部２４は、頷き動作と拒否動作が相殺するように同調割合を算出してもよい。従って、例えば、コミュニケーションに参加している参加者２の人数が１０人であり、ある時間区間において、そのうち８人が頷き動作をし、残りの２人が拒否動作をした場合、同調割合算出部２４は、当該ある時間区間における同調割合を（８－２）／１０＝０．６と算出してもよい。要するに、評価値算出部２６は、加速度センサ１２の出力値が、対応するウェアラブル端末３を装着した参加者の首を横に振る動作を示す場合、対応する発言に対する評価値が低まるように評価値を算出してもよい。
上記実施形態では、各ウェアラブル端末３が加速度センサ１２を備え、同調割合算出部２４は、各ウェアラブル端末３の加速度センサ１２の出力値に基づいて、同調割合を算出している。しかし、加速度センサ１２は省略することができる。この場合、同調割合算出部２４は、各ウェアラブル端末３のマイクロフォン１１の出力値に基づいて、同調割合を算出する。例えば、各ウェアラブル端末３のマイクロフォン１１が「なるほど」「確かに」「その通りだ」などの同調を示唆する発声を拾った場合、同調割合算出部２４は、当該発声を頷き動作と同等の同調表現とみなして同調割合を算出することができる。
また、評価装置４をクラウドシステム上で構築し、各ウェアラブル端末３がインターネットを経由して評価装置４と通信するようにしてもよい。また、評価装置４が実行する情報処理は、複数の装置によって分散処理されてもよい。
また、例えば、図７に示すように、上記実施形態において強調処理部２５は、同調割合算出部２４が算出した同調割合に対して同調割合の高低を強調する強調処理を行うに際し単調増加関数を用いた。しかし、これに代えて、図１１に示すように、強調処理部２５は、同調割合算出部２４が算出した同調割合に対して同調割合の高低を強調する強調処理を行うに際し、下記式（２）で示すステップ関数を用いてもよい。
上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）を含む。非一時的なコンピュータ可読媒体の例は、更に、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭを含む。非一時的なコンピュータ可読媒体の例は、更に、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
各ウェアラブル端末３が有する機能の一部を評価装置４が発揮するようにしてもよく、評価装置４が有する機能の一部を何れかのウェアラブル端末３が発揮するようにしてもよい。
１ 発言評価システム
２ 参加者
３ ウェアラブル端末
４ 評価装置
１０ 端末ＩＤ情報記憶部
１１ マイクロフォン
１２ 加速度センサ
１３ 時刻カウント部
１４ 送信データ生成部
１４ａ 送信データ
１５ データ送受信部
１６ センサ
２０ データ送受信部
２１ データ記憶部
２２ 発言検出部
２３ 発言期間検出部
２４ 同調割合算出部
２５ 強調処理部
２６ 評価値算出部
２７ 評価値出力部
ａ 発言
ｂ 発言
ｃ 発言
ｄ 発言
２ 参加者
３ ウェアラブル端末
４ 評価装置
１０ 端末ＩＤ情報記憶部
１１ マイクロフォン
１２ 加速度センサ
１３ 時刻カウント部
１４ 送信データ生成部
１４ａ 送信データ
１５ データ送受信部
１６ センサ
２０ データ送受信部
２１ データ記憶部
２２ 発言検出部
２３ 発言期間検出部
２４ 同調割合算出部
２５ 強調処理部
２６ 評価値算出部
２７ 評価値出力部
ａ 発言
ｂ 発言
ｃ 発言
ｄ 発言
Claims (9)
- 複数の参加者から構成されるコミュニケーションにおいて、発言毎に当該発言に対する評価値を求める発言評価システムであって、
前記複数の参加者のそれぞれに装着され、各々が少なくとも集音部を含むセンサを有する、複数のウェアラブル端末と、
前記複数のウェアラブル端末の集音部の出力値に基づいて、前記コミュニケーションにおける発言を検出すると共に、検出した発言に対応するウェアラブル端末を特定する発言検出部と、
前記発言検出部が検出した発言毎に、当該発言の開始タイミングと終了タイミングを検出する発言期間検出部と、
前記発言検出部が検出した発言毎に、当該発言の前記開始タイミング以降であって前記終了タイミングよりも前である第１のタイミングから、当該発言の前記終了タイミングよりも後である第２のタイミングまでの間の発言評価対象期間における、当該発言に対応したウェアラブル端末以外のウェアラブル端末の前記センサの出力値に基づいて、当該発言に対する評価値を算出する評価値算出部と、
を備えた、
発言評価システム。 - 請求項１に記載の発言評価システムであって、
前記第２のタイミングは、対応する発言の前記終了タイミングから所定時間経過したタイミングに設定される、
発言評価システム。 - 請求項１に記載の発言評価システムであって、
前記第２のタイミングは、対応する発言に続く他の発言が開始したタイミングに設定される、
発言評価システム。 - 請求項１に記載の発言評価システムであって、
前記第２のタイミングは、対応する発言の前記終了タイミングから所定時間経過したタイミングに設定され、
対応する発言の前記終了タイミングから所定時間経過する前に、対応する発言に続いて他の発言が開始した場合、前記第２のタイミングは、対応する発言に続く他の発言が開始したタイミングに設定される、
発言評価システム。 - 請求項１から４までの何れか１項に記載の発言評価システムであって、
前記センサは、加速度センサを含む、
発言評価システム。 - 請求項５に記載の発言評価システムであって、
前記評価値算出部は、前記加速度センサの出力値が、対応するウェアラブル端末を装着した参加者の首を縦に振る動作を示す場合、対応する発言に対する評価値が高まるように評価値を算出する、
発言評価システム。 - 請求項５に記載の発言評価システムであって、
前記評価値算出部は、前記加速度センサの出力値が、対応するウェアラブル端末を装着した参加者の首を横に振る動作を示す場合、対応する発言に対する評価値が低まるように評価値を算出する、
発言評価システム。 - 複数の参加者から構成されるコミュニケーションにおいて、発言毎に当該発言に対する評価値を求める発言評価方法であって、
前記複数の参加者のそれぞれには、各々が少なくとも集音部を含むセンサを有する、複数のウェアラブル端末が装着されており、
コンピュータが、前記複数のウェアラブル端末の集音部の出力値に基づいて、前記コミュニケーションにおける発言を検出すると共に、検出した発言に対応するウェアラブル端末を特定することと、
前記コンピュータが、検出した発言毎に、当該発言の開始タイミングと終了タイミングを検出することと、
前記コンピュータが、検出した発言毎に、当該発言の前記開始タイミング以降であって前記終了タイミングよりも前である第１のタイミングから、当該発言の前記終了タイミングよりも後である第２のタイミングまでの間の発言評価対象期間における、当該発言に対応したウェアラブル端末以外のウェアラブル端末の前記センサの出力値に基づいて、当該発言に対する評価値を算出すること、
を含む、
発言評価方法。 - コンピュータに、請求項８に記載の発言評価方法を実行させるプログラム。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020192345A JP7354992B2 (ja) | 2020-11-19 | 2020-11-19 | 発言評価システム、発言評価方法、及び、プログラム |
| DE102021125686.0A DE102021125686B4 (de) | 2020-11-19 | 2021-10-04 | Sprechevaluationssystem, Sprechevaluationsverfahren und Programm |
| US17/528,359 US20220157299A1 (en) | 2020-11-19 | 2021-11-17 | Speech evaluation system, speech evaluation method, and non-transitory computer readable medium storing program |
| CN202111365493.5A CN114550723A (zh) | 2020-11-19 | 2021-11-18 | 发言评价系统、发言评价方法以及计算机记录介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020192345A JP7354992B2 (ja) | 2020-11-19 | 2020-11-19 | 発言評価システム、発言評価方法、及び、プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022081050A JP2022081050A (ja) | 2022-05-31 |
| JP7354992B2 true JP7354992B2 (ja) | 2023-10-03 |
Family
ID=81345659
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020192345A Active JP7354992B2 (ja) | 2020-11-19 | 2020-11-19 | 発言評価システム、発言評価方法、及び、プログラム |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20220157299A1 (ja) |
| JP (1) | JP7354992B2 (ja) |
| CN (1) | CN114550723A (ja) |
| DE (1) | DE102021125686B4 (ja) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011221683A (ja) | 2010-04-07 | 2011-11-04 | Seiko Epson Corp | 接客支援装置、接客支援方法およびプログラム |
| JP2016103081A (ja) | 2014-11-27 | 2016-06-02 | Kddi株式会社 | 会話分析装置、会話分析システム、会話分析方法及び会話分析プログラム |
| JP2016157388A (ja) | 2015-02-26 | 2016-09-01 | 日本電信電話株式会社 | コミュニケーションスキル評価フィードバック装置、コミュニケーションスキル評価フィードバック方法及びコミュニケーションスキル評価フィードバックプログラム |
| JP2020086853A (ja) | 2018-11-22 | 2020-06-04 | 富士ゼロックス株式会社 | 情報処理システム、プログラムおよび情報処理方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040243416A1 (en) * | 2003-06-02 | 2004-12-02 | Gardos Thomas R. | Speech recognition |
| JP6373179B2 (ja) | 2014-11-28 | 2018-08-15 | シャープ株式会社 | デジタル放送受信装置、デジタル放送受信方法、およびプログラム |
| US10692516B2 (en) | 2017-04-28 | 2020-06-23 | International Business Machines Corporation | Dialogue analysis |
| KR102429498B1 (ko) * | 2017-11-01 | 2022-08-05 | 현대자동차주식회사 | 차량의 음성인식 장치 및 방법 |
| JP7047626B2 (ja) * | 2018-06-22 | 2022-04-05 | コニカミノルタ株式会社 | 会議システム、会議サーバ及びプログラム |
-
2020
- 2020-11-19 JP JP2020192345A patent/JP7354992B2/ja active Active
-
2021
- 2021-10-04 DE DE102021125686.0A patent/DE102021125686B4/de active Active
- 2021-11-17 US US17/528,359 patent/US20220157299A1/en active Pending
- 2021-11-18 CN CN202111365493.5A patent/CN114550723A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011221683A (ja) | 2010-04-07 | 2011-11-04 | Seiko Epson Corp | 接客支援装置、接客支援方法およびプログラム |
| JP2016103081A (ja) | 2014-11-27 | 2016-06-02 | Kddi株式会社 | 会話分析装置、会話分析システム、会話分析方法及び会話分析プログラム |
| JP2016157388A (ja) | 2015-02-26 | 2016-09-01 | 日本電信電話株式会社 | コミュニケーションスキル評価フィードバック装置、コミュニケーションスキル評価フィードバック方法及びコミュニケーションスキル評価フィードバックプログラム |
| JP2020086853A (ja) | 2018-11-22 | 2020-06-04 | 富士ゼロックス株式会社 | 情報処理システム、プログラムおよび情報処理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20220157299A1 (en) | 2022-05-19 |
| DE102021125686B4 (de) | 2024-02-08 |
| JP2022081050A (ja) | 2022-05-31 |
| CN114550723A (zh) | 2022-05-27 |
| DE102021125686A1 (de) | 2022-05-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11290826B2 (en) | Separating and recombining audio for intelligibility and comfort | |
| JP5607627B2 (ja) | 信号処理装置及び信号処理方法 | |
| JP5581329B2 (ja) | 会話検出装置、補聴器及び会話検出方法 | |
| CN106992013B (zh) | 语音情感修改 | |
| US20150168996A1 (en) | In-ear wearable computer | |
| JP6400445B2 (ja) | 会話分析装置、会話分析システム、会話分析方法及び会話分析プログラム | |
| WO2019055586A1 (en) | LOW-LOW AUDIO IMPROVEMENT | |
| US11184723B2 (en) | Methods and apparatus for auditory attention tracking through source modification | |
| JP6217682B2 (ja) | 情報処理装置及びプログラム | |
| WO2021123710A1 (en) | Biometric identification | |
| CN114328851A (zh) | 用于私密对话的耳语转换 | |
| JP7354992B2 (ja) | 発言評価システム、発言評価方法、及び、プログラム | |
| US11627398B2 (en) | Hearing device for identifying a sequence of movement features, and method of its operation | |
| JP6874437B2 (ja) | コミュニケーションロボット、プログラム及びシステム | |
| WO2020240169A1 (en) | Detection of speech | |
| JP2022038344A (ja) | コミュニケーションシステム | |
| JP2022038487A (ja) | コミュニケーションシステム | |
| CN113924542A (zh) | 用于确定情绪状态的头戴式耳机信号 | |
| JP2021108021A5 (ja) | ||
| JP2022037453A (ja) | コミュニケーションシステム | |
| JP2019197179A (ja) | 発声方向判定プログラム、発声方向判定方法、及び、発声方向判定装置 | |
| WO2023286224A1 (ja) | 会話処理プログラム、会話処理システムおよび会話型ロボット | |
| CN113314121B (zh) | 无声语音识别方法、装置、介质、耳机及电子设备 | |
| JP5602753B2 (ja) | 懐く挙動を示す玩具 | |
| JP2024041380A (ja) | ゲームプログラムおよびゲーム装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220920 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230530 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230602 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230822 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230904 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7354992 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |