JP5889162B2 - 会議支援装置、会議支援システム、その方法及びプログラム - Google Patents

Description

本発明は、会議システムに関する。

非母語により会話をする場合、一時的に思考力が低下することが知られている（非特許文献１参照）。

Takano, Y. and Noda, A., "A temporary decline of thinking ability during foreign language processing", Journal of Cross-Cultural Psychology, 1993, vol. 24, no. 4, 445-462

そのため、非母語で会議に参加することは、大変な困難を伴う。しかしながら、母語を話す者（以下「母語者」という）と非母語を話す者（以下「非母語者」という）とが参加する会議において、効果的に非母語者を支援する技術はほとんど見当たらない。

本発明は、母語者と非母語者とが参加する会議において、非母語者が話し易い状態を作り、効果的に非母語者を支援する技術を提供することを目的とする。

上記の課題を解決するために、本発明の第一の態様によれば、会議支援装置は、母語者端末で収音された信号である母語者音声信号と、非母語者端末で収音された信号である非母語者音声信号とを入力として、母語者端末に対して第一の再生信号を出力し、非母語者端末に対して第二の再生信号を出力する。会議支援装置は、母語者音声信号を遅延させ、遅延させた信号を遅延母語者音声信号として出力する遅延部と、非母語者音声信号と遅延母語者音声信号とを合成し、合成した信号を第一の再生信号として出力する第一合成部と、少なくとも２つ以上の母語者音声信号を合成し、合成した信号を第二の再生信号として出力する第二合成部とを含む。
上記の課題を解決するために、本発明の第二の態様によれば、会議支援システムは、会議支援装置と少なくとも２つの母語者端末と少なくとも１つの非母語者端末とからなり、非母語者と母語者とによる会議で、非母語者が話し易い状態を作ることにより非母語者を支援するためのシステムである。母語者端末及び非母語者端末は、マイクロホンとスピーカとを含み、マイクロホンで収音した音声信号を会議支援装置に対して出力し、会議支援装置が出力した再生信号をスピーカで再生するものである。会議支援装置は、母語者端末及び非母語者端末が出力した音声信号を入力とし、音声信号のうち母語者端末のマイクロホンで収音された音声信号である母語者音声信号を所定の時間遅延させた遅延母語者音声信号と、音声信号のうち非母語者端末のマイクロホンで収音された音声信号である非母語者音声信号とを合成した再生信号を、母語者端末に対して出力する。

上記の課題を解決するために、本発明の第三の態様によれば、会議支援方法は、母語者端末で収音された信号である母語者音声信号と、非母語者端末で収音された信号である非母語者音声信号とを入力として、母語者端末に対して第一の再生信号を出力し、非母語者端末に対して第二の再生信号を出力する会議支援装置を用いる。会議支援方法は、会議支援装置が、母語者音声信号を遅延させ、遅延させた信号を遅延母語者音声信号として出力する遅延ステップと、会議支援装置が、非母語者音声信号と遅延母語者音声信号とを合成し、合成した信号を第一の再生信号として出力する第一合成ステップと、会議支援装置が、少なくとも２つ以上の母語者音声信号を合成し、合成した信号を第二の再生信号として出力する第二合成ステップとを含む。
上記の課題を解決するために、本発明の第四の態様によれば、会議支援方法は、会議支援装置と少なくとも２つの母語者端末と少なくとも１つの非母語者端末とを用いて、非母語者と母語者とによる会議で、非母語者が話し易い状態を作ることにより非母語者を支援するための方法である。会議支援方法は、母語者端末及び非母語者端末は、マイクロホンとスピーカとを含むものとし、マイクロホンで収音した音声信号を会議支援装置に対して出力するステップと、会議支援装置が出力した再生信号をスピーカで再生するステップと、会議支援装置が、母語者端末及び非母語者端末が出力した音声信号を入力とし、音声信号のうち母語者端末のマイクロホンで収音された音声信号である母語者音声信号を所定の時間遅延させた遅延母語者音声信号と、音声信号のうち非母語者端末のマイクロホンで収音された音声信号である非母語者音声信号とを合成した再生信号を、母語者端末に対して出力するステップとを含む。

本発明によれば、非母語者に付加的な処理時間を与え、非母語者を効果的に支援することができる。

対面会議及び電話会議における理解度を示す図。 対面会議及び電話会議における発言度を示す図。 会議支援装置の機能ブロック図。 会議支援装置の処理フローを示す図。 母語者端末のマイクロホンで収音される音声信号と、非母語者端末のスピーカで再生される再生信号と、母語者端末のスピーカで再生される再生信号との関係を示す。 母語者端末のマイクロホンで収音される音声信号とスピーカで再生される再生信号と、非母語者端末のスピーカで再生される再生信号との関係を示す。 ４つの母語者端末及び１つの非母語者端末とインターネットを介して接続された会議支援装置の機能ブロック図。 遅延時間と、母語者の会話衝突率、話者交代頻度、話し易さ、理解し易さ及びフラストレーションとの関係を示す図。 遅延時間と、非母語者の自発的発話率、話し易さ、理解し易さ及びフラストレーションとの関係を示す図。

以下、本発明の実施形態について説明する。なお、以下の説明に用いる図面では、同じ機能を持つ構成部や同じ処理を行うステップには同一の符号を記し、重複説明を省略する。

＜第一実施形態＞
＜第一実施形態のポイント＞
母語者と非母語者とが参加する会議において、非母語者は、会議の内容を理解するために、及び、会議において発言するために、大変な困難を伴う。さらに、対面会議ではほぼ問題なく会議に参加し議論できていても、多人数音声会議になると、たちまち理解度が低減し、発言権を得ることが困難になってしまう非母語者が大半であると考えられる。このことを検証するために、発明者等は以下の調査を実施した。

対面会議及び電話会議に参加した７名の日本人にアンケートを行い、各会議における理解度（会議の内容をどの程度理解できたかを表す）及び発言度（言いたいことのどの程度発言できたかを表す）を回答してもらった。図１は対面会議及び電話会議における理解度を、図２は対面会議及び電話会議における発言度を示す。なお、７名の日本人は、それぞれ日本のコンピュータ科学研究団体（ＨＣＩ，ＨＲＩ，ＡＩ等）に属し、各団体において積極的役割を担っている。また彼らは、１０回以上、国際的な委員会のメンバーとして従事したことがあり、少なくとも３回以上電話会議に参加したことがある。また、彼らの平均海外滞在日数は２年であった。つまり、彼らは十分な英会話力を備えていると考えられる。

図１及び図２から、電話会議における彼らの理解度及び発言度は、対面会議におけるそれと比べ、低いことが分かる。サンプル数は、少ないものの、様々な技術分野の日本の代表者とも言える人々の実に７０％が、電話会議において、言いたいことの半分も言えていないと感じている。このような状況が続くと、非母語者の電話会議における存在感が急激に低下してしまう。

これは、会議中に非母語者が複数の高度な情報処理を並列に行わなければならない過負荷な状態に陥っていることに加え、電話会議において非母語者の聞き取り能力が低下することに起因すると考えられる。そこで、第一実施形態では、電話会議において、非母語者に付加的なリソース（処理時間）を与える方法を提案する。

＜第一実施形態に係る会議支援装置１００＞
図３は会議支援装置１００の機能ブロック図を、図４はその処理フローを示す。

本実施形態では、Ｍ人の母語者とＮ人の非母語者とが参加する電話会議を想定している。ただし、Ｍを２以上の整数、Ｎを１以上の整数とする。

会議支援装置１００は、遅延部１１０、第一合成部１２０及び第二合成部１３０を含む。

会議支援装置１００は、母語者端末１_１〜１_Ｍからそれぞれインターネット３を介して母語者の発話に対する母語者音声信号ｍ_１１〜ｍ_１Ｍを受け取る。また、非母語者端末２_１〜２_Ｎからそれぞれインターネット３を介して非母語者の発話に対する非母語者音声信号ｍ_２１〜ｍ_２Ｎを受け取る。

会議支援装置１００は、各母語者端末１_１〜１_Ｍ及び各非母語者端末２_１〜２_Ｎに対して、それぞれ各端末自身から得られた音声信号を除く音声信号を合成した再生信号ｐ_１１〜ｐ_１Ｍ及びｐ_２１〜ｐ_２Ｎを、インターネット３を介して送信する。例えば、再生信号ｐ_１１は、母語者音声信号ｍ_１１以外の音声信号、つまり、母語者音声信号ｍ_１２〜ｍ_１Ｍ及び非母語者音声信号ｍ_２１〜ｍ_２Ｎを合成したものである。

各母語者端末１_１〜１_Ｍ及び各非母語者端末２_１〜２_Ｎは、それぞれ母語者及び非母語者により操作される。各母語者端末１_１〜１_Ｍ及び各非母語者端末２_１〜２_Ｎは、それぞれマイクロホンとスピーカを含み、マイクロホンにより音を収音して音声信号を生成して出力することができ、また、スピーカにより受け取った再生信号を再生することができる。さらに、ディスプレイやカメラを含み、映像を送受信し、表示する構成としてもよい。例えば、各端末は、固定電話、携帯電話、コンピュータ等からなる。

会議支援装置１００は、遅延部１１０と第一合成部１２０と第二合成部１３０とを含む。

遅延部１１０は、母語者音声信号号ｍ_１１〜ｍ_１Ｍを受け取り、母語者音声信号号ｍ_１１〜ｍ_１Ｍを非母語者音声信号ｍ_２１〜ｍ_２Ｎよりも遅延させ、遅延母語者音声信号ｍ’_１１〜ｍ’_１Ｍを生成し（ｓ１）、第一合成部１２０に出力する。なお、遅延時間（例えば０．２秒や０．４秒）は、利用者により、調整できるものとする。例えば、母語者音声信号号ｍ_１１〜ｍ_１Ｍを受け取った後、母語者音声信号号ｍ_１１〜ｍ_１Ｍを一時的に記憶しておき、遅延時間経過後に、第一合成部１２０に出力する。この場合、遅延時間経過後の母語者音声信号号ｍ_１１〜ｍ_１Ｍが、前述の遅延母語者音声信号ｍ’_１１〜ｍ’_１Ｍである。

第一合成部１２０は、遅延母語者音声信号ｍ’_１１〜ｍ’_１Ｍと非母語者音声信号ｍ_２１〜ｍ_２Ｎとを受け取り、これらの信号をリアルタイムに合成し（ｓ２）、母語者端末１_１〜１_Ｍに対する再生信号ｐ_１１〜ｐ_１Ｍを生成し、出力する。なお、遅延母語者音声信号ｍ’_１ｓ（ただし、ｓ＝１，２，…，Ｍ）を除く、他の全ての遅延母語者音声信号ｍ’_１１〜ｍ’_{１（ｓ−１）}、ｍ’_{１（ｓ＋１）}〜ｍ’_１Ｍと、非母語者音声信号ｍ_２１〜ｍ_２Ｎとを合成し、再生信号ｐ_１ｓを生成する。

第二合成部１３０は、母語者音声信号ｍ_１１〜ｍ_１Ｍと非母語者音声信号ｍ_２１〜ｍ_２Ｎとを受け取り、これらの信号をリアルタイムに合成し（ｓ３）、非母語者端末２_１〜２_Ｎに対する再生信号ｐ_２１〜ｐ_２Ｎを生成し、出力する。なお、母語者音声信号ｍ_１１〜ｍ_１Ｍと、非母語者音声信号ｍ_１ｔ（ただし、ｔ＝１，２，…，Ｎ）を除く、他の全ての非母語者音声信号ｍ_１１〜ｍ_{１（ｔ−１）}、ｍ_{１（ｔ＋１）}〜ｍ_１Ｎとを合成し、再生信号ｐ_１ｔを生成する。

図５は、母語者端末１_１のマイクロホンで収音される音声信号ｍ_１１と、非母語者端末２_１〜２_Ｎのスピーカで再生される再生信号ｐ_２１〜ｐ_２Ｎと、母語者端末１_２〜１_Ｍのスピーカで再生される再生信号ｐ_１２〜ｐ_２Ｍとの関係を示す。図５に示すとおり、非母語者端末２_１〜２_Ｎでは、母語者端末１_２〜１_Ｍよりも早く音声信号ｍ_１１に対応する再生信号ｐ_２１〜ｐ_２Ｎを再生するため、非母語者は母語者よりも早く発話の内容を聞くことができ、非母語者は付加的な処理時間を与えられる。この付加的な処理時間により、非母語者の理解し易さだけでなく、話し易さも向上すると考えられる。

図６は、母語者端末１_１のマイクロホンで収音される音声信号ｍ_１１とスピーカで再生される再生信号ｐ_１１と、母語者端末１_２のマイクロホンで収音される音声信号ｍ_１２とスピーカで再生される再生信号ｐ_１２と、非母語者端末２_１〜２_Ｎのスピーカで再生される再生信号ｐ_２１〜ｐ_２Ｎとの関係を示す。他者の発言の文末に、文頭を重ねて発言する場合があるが、重なった部分は聞き取りづらく、補完しなければならず、非母語者にとっては理解し易さを低減させる大きな要因となる。しかし、会議支援装置１００を用いた場合には、図６に示すとおり、再生信号には重なった部分が発生しづらく、そのような問題は生じづらい。

＜効果＞
このような構成により、リアルタイムの電話会議において、非母語者に付加的な処理時間を与えることができる。母語者間のネットワークに人工的に遅延を挿入しているので、母語者の発話を非母語者は他の母語者よりも遅延時間分、早く聞くことができる。その結果、非母語者が発話しやすくなる。

＜シミュレーション結果＞
５人で１グループとし、１４グループ（合計７０人）に対して、会議支援装置１００を用いて、電話会議を実施した。各グループは４人の母語者と１人の非母語者とからなる。図７は、４つの母語者端末１_１〜１_４及び１つの非母語者端末２_１とインターネット３を介して接続された会議支援装置１００の機能ブロック図を示す。母語者の母語を英語とし、非母語者の母語を日本語とした。非母語者として、英語での日常会話を行うに十分な英会話力があるものを選出した。

各グループに対して、遅延時間を０秒、０．２秒、０．４秒に変えて、３回、電話会議を行った。

図８は、遅延時間と、母語者の会話衝突率、話者交代頻度、話し易さ、理解し易さ及びフラストレーションとの関係を示す図である。電話会議の音声データを用いて、会話衝突率及び話者交代頻度を求め、電話会議に参加する母語者に対するアンケートにより、話し易さ、理解し易さ、フラストレーションを求めた。なお、話し易さ、理解し易さ、フラストレーションは５段階評価を行い、話し易さ及び理解し易さは数値が高いほうがよく、フラストレーションは数値が低いほうがよい。

会話衝突率とは、複数の母語者が同時に会話を始める確率を表している。具体的には、各電話会議において、複数の母語者が同時に会話を始める回数を、話者交代が行われた回数で割って求める。図８に示すように、遅延時間が長くなるにつれ、会話衝突率が大きくなっている。遅延時間が長くなると、他の母語者が会話を始めていることを認知せずに、母語者が会話を始める可能性が高くなるため、会話衝突率が高くなる。

話者交代頻度は、母語者間において１分間に話者が交代した回数を表す。話者交代頻度が低いことは、交代するのが難しいことを示している。図８に示すように、遅延時間が長くなるにつれ、話者交代頻度が小さくなっている。遅延時間が長くなると、他の母語者が適切なタイミングで会話に入ることができず、同じ母語者が話し続けるため、話者交代頻度が小さくなる。

このような理由により、遅延時間が０．４秒になると、話し易さが低くなり、フラストレーションが大きくなる。ただし、話し易さ、理解し易さ、フラストレーションについては、遅延時間が０秒と０．２秒の間で大きな差はない。

図９は、遅延時間と、非母語者の自発的発話率、話し易さ、理解し易さ及びフラストレーションとの関係を示す図である。電話会議の音声データを用いて、自発的発話率を求め、電話会議に参加する非母語者に対するアンケートにより、話し易さ、理解し易さ、フラストレーションを求めた。

自発的発話率は、非母語者が発話した全回数に対する、非母語者が自発的に発話した回数の割合を表す。遅延時間が０．２秒のときに最も自発的発話率が高いことが分かる。話し易さ、理解し易さ及びフラストレーションに関しても、遅延時間が０．２秒のときが最もよい。これは、遅延時間が長くなり、非母語者に付加的な処理時間を与えることができたとしても、母語者間の発話権獲得の競争が激化し、母語者にとってストレスとなるなどの悪影響が出始め、非母語者にも間接的に悪影響を与えるからであると考えられる。よって、遅延時間は０秒より大きく、０．４秒以下程度で設定するのがよく、特に０．２秒前後のときに、最も効果的に母語者を支援することができる。ただし、電話会議システム自体に生じる処理遅延や伝送遅延により、参加者にとって最もストレスの小さい遅延時間は変わるため、電話会議システムの特性に合わせて適宜設定すればよい。

＜変形例＞
第一実施形態では、インターネットで接続された遠隔会議システムの場合（電話会議の場合）について説明しているが、これは本発明の一例である。対面会議においても本発明を適用することはできる。例えば、円卓を囲み、マイクロホンとスピーカを含むヘッドセットを、直接、または、前述の母語者端末や非母語者端末を介して間接的に、会議支援装置と接続してもよい。母語者の口元が見え、口の動きと音声とがずれる為、遅延に対してストレスを感じる場合もあるが、非母語者が話し易くなるという効果を得ることはできる。

本実施形態では、第二合成部１３０は、母語者音声信号ｍ_１１〜ｍ_１Ｍと非母語者音声信号ｍ_２１〜ｍ_２Ｎとをリアルタイムに合成し、再生信号ｐ_２１〜ｐ_２Ｎを生成しているが、Ｎ＝１の場合（つまり、非母語者音声信号が一つの場合）、再生信号ｐ_２１に非母語者音声信号ｍ_２１を含む必要がないため、シミュレーションの場合と同様に（図７参照）、母語者音声信号ｍ_１１〜ｍ_１Ｍのみをリアルタイムに合成すればよい。よって、第二合成部１３０は、少なくとも２つ以上の前記母語者音声信号を合成する。なお、Ｍ＝１の場合（母語者が１人しかいない場合）、遅延母語者音声信号を含む再生信号を再生する母語者端末が存在しなくなる。そのため、本発明の効果を得ることができない。よって、前述の通り、Ｍは２以上の整数とする。

会議支援装置１００は、種々の方法により、受信した音声信号を母語者音声信号または非母語者音声信号と判定する。例えば、母語者に対する母語者音声信号を、事前に設定された母語者端末に対する音声信号としたり、母語者に手動でスイッチを押してもらいスイッチがＯＮの参加者に対する音声信号としたりする方法が考えられる。また、他にも、音声信号から流暢度合いを求め、流暢度合いに基づき、自動的に母語者音声信号を認識して、母語者音声信号に遅延を与えてもよい。つまり、予め母語者端末と非母語者端末とを設けてもよいし、スイッチ等により発話者が手動で各端末を母語者端末または非母語者端末と設定してもよいし、入力される音声信号の流暢度合いに基づき会議支援装置側で自動的に、その音声信号を母語者音声信号または非母語者音声信号であると判定する構成としてもよい。

＜その他の変形例＞
本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。

＜プログラム及び記録媒体＞
上述した会議支援装置は、コンピュータにより機能させることもできる。この場合はコンピュータに、目的とする装置（各種実施形態で図に示した機能構成をもつ装置）として機能させるためのプログラム、またはその処理手順（各実施形態で示したもの）の各過程をコンピュータに実行させるためのプログラムを、ＣＤ−ＲＯＭ、磁気ディスク、半導体記憶装置などの記録媒体から、あるいは通信回線を介してそのコンピュータ内にダウンロードし、そのプログラムを実行させればよい。

Claims (6)

1. 母語者端末で収音された信号である母語者音声信号と、非母語者端末で収音された信号である非母語者音声信号とを入力として、前記母語者端末に対して第一の再生信号を出力し、前記非母語者端末に対して第二の再生信号を出力する会議支援装置であって、
   前記母語者音声信号を遅延させ、遅延させた信号を遅延母語者音声信号として出力する遅延部と、
   前記非母語者音声信号と前記遅延母語者音声信号とを合成し、合成した信号を前記第一の再生信号として出力する第一合成部と、
   少なくとも２つ以上の前記母語者音声信号を合成し、合成した信号を前記第二の再生信号として出力する第二合成部とを含む、
   会議支援装置。
2. 請求項１記載の会議支援装置であって、
   前記遅延部において、遅延させる時間が0秒より大きく、0.4秒以下である、
   会議支援装置。
3. 会議支援装置と少なくとも２つの母語者端末と少なくとも１つの非母語者端末とからなり、非母語者と母語者とによる会議で、非母語者が話し易い状態を作ることにより非母語者を支援するための会議支援システムであって、
   前記母語者端末及び前記非母語者端末は、マイクロホンとスピーカとを含み、
   前記マイクロホンで収音した音声信号を前記会議支援装置に対して出力し、
   前記会議支援装置が出力した再生信号を前記スピーカで再生するものであり、
   前記会議支援装置は、前記母語者端末及び前記非母語者端末が出力した前記音声信号を入力とし、
   前記音声信号のうち母語者端末のマイクロホンで収音された音声信号である母語者音声信号を所定の時間遅延させた遅延母語者音声信号と、前記音声信号のうち非母語者端末のマイクロホンで収音された音声信号である非母語者音声信号とを合成した再生信号を、前記母語者端末に対して出力する、
   会議支援システム。
4. 母語者端末で収音された信号である母語者音声信号と、非母語者端末で収音された信号である非母語者音声信号とを入力として、前記母語者端末に対して第一の再生信号を出力し、前記非母語者端末に対して第二の再生信号を出力する会議支援装置を用いる会議支援方法であって、
   前記会議支援装置が、前記母語者音声信号を遅延させ、遅延させた信号を遅延母語者音声信号として出力する遅延ステップと、
   前記会議支援装置が、前記非母語者音声信号と前記遅延母語者音声信号とを合成し、合成した信号を前記第一の再生信号として出力する第一合成ステップと、
   前記会議支援装置が、少なくとも２つ以上の前記母語者音声信号を合成し、合成した信号を前記第二の再生信号として出力する第二合成ステップとを含む、
   会議支援方法。
5. 会議支援装置と少なくとも２つの母語者端末と少なくとも１つの非母語者端末とを用いて、非母語者と母語者とによる会議で、非母語者が話し易い状態を作ることにより非母語者を支援するための会議支援方法であって、
   前記母語者端末及び前記非母語者端末は、マイクロホンとスピーカとを含むものとし、
   前記マイクロホンで収音した音声信号を前記会議支援装置に対して出力するステップと、
   前記会議支援装置が出力した再生信号を前記スピーカで再生するステップと、
   前記会議支援装置が、前記母語者端末及び前記非母語者端末が出力した前記音声信号を入力とし、前記音声信号のうち母語者端末のマイクロホンで収音された音声信号である母語者音声信号を所定の時間遅延させた遅延母語者音声信号と、前記音声信号のうち非母語者端末のマイクロホンで収音された音声信号である非母語者音声信号とを合成した再生信号を、前記母語者端末に対して出力するステップとを含む、
   会議支援方法。
6. 請求項１または２記載の会議支援装置として、コンピュータを機能させるためのプログラム。

Images