JP5143114B2 - 発話の予備動作検出及び伝達方法及び装置及びプログラム - Google Patents

Description

本発明は、発話の予備動作検出及び伝達方法及び装置及びプログラムに係り、特に、複数人の参加者がWebブラウザ、マイク、スピーカ、Webカメラ等を使用してネットワークを介して会議を行う映像通信技術における発話の予備動作検出及び伝達方法及び装置及びプログラムに関する。

世界的な不況の振興、感染症の流行、CO2排出削減意識の高まりなどの背景から、遠隔会議の需要が高まり、市場は成長傾向にある。その中でもWeb会議は特に導入が手軽で、会議室に移動せず自席で実施できるため空間的制約も少なく、便利である。

しかしその反面Web会議は、ブラウザ上で行い、通信速度の保証されないネットワークを介して行われるため伝送遅延が生じる。この遅延が原因である参加者が発言し始めたことは、他の参加者には遅れて伝わることとなる。このため、誰も発言し始めていないと思って発言すると、実は同時に複数人が発言し始めていた、という発話の衝突がしばしば起こる。

デスクトップ上で行うこのような会議において、参加者の頷きや表情などを擬似的に作り出している研究例（例えば、非特許文献１、２参照）があるが、実際の参加者の反応を表しているわけではないので、実際に誰が発言し始めようとしているかといった情報はわからず、発話の衝突を減らす効果は期待できない。

渡辺富夫、夏井武雄：ヒューマン・インタフェースへの音声対話時の引き込み現象の応用に関する研究：うなずき反応を視覚的に模擬する音声反応システムの開発、昭和６３年度厚生省心身障害研究「家庭保険と小児の成長・発達に関する総合的研究」、pp. 64-70. 石井亮、宮島俊光、藤田欣也、"アバタ音声チャットシステムにおける会話促進のための注視制御"、ヒューマンインタフェース学会論文誌 Vol. 10, No. 1, 2008.

Web会議ではネットワーク遅延の影響で、他の参加者に誰が発言し始めたかが遅れて伝わるため、発話のタイミングを掴みにくく、発話の衝突が起こりやすい。

本発明は、上記の点に鑑みなされたもので、発言する直前の予備動作を早めに他の参加者に知らせることで発話の衝突を減らし、スムーズに会話を進められることにより会議を活性化させることが可能な発話の予備動作検出及び伝達方法及び装置及びプログラムを提供することを目的とする。

図１は、本発明の原理を説明するための図である。

本発明（請求項１）は、複数の参加者によるWeb会議に用いられるクライアント端末において、次に発言する参加者を他の参加者に通知するWeb会議における発話の動作検出及び伝達方法であって、
入力された音声から発話を検出し、発話の有無を記憶手段に格納する発話検出ステップ（ステップ１）と、
入力された映像と音声から、音声での相槌、手の上下方向の動き、やや目立つように頷く、身体を前後に動かす、のいずれかを予備動作として検出して、各動作毎に所定のポイントを付与して記憶手段に格納する予備動作検出ステップ（ステップ２）と、
所定の有効時間内の予備動作のポイントを合計した値を発話可能性ポイントとして記憶手段に格納する発話可能性ポイント計算ステップ（ステップ３）と、
記憶手段から発話の有無と発話可能性ポイントを読み出して、ネットワークを介して他のクライアント端末に送信する送信ステップ（ステップ４）と、
発話の有無と発話可能性ポイントを受信すると記憶手段に格納する受信ステップ８ステップ５）と、
記憶手段から発話があるユーザを選択する話者選択ステップ（ステップ６）と、
表示手段に表示されている映像中の前記話者選択ステップで選択された前記発話があるユーザの表示領域の回りに枠を重畳表示する話者表示ステップ（ステップ７）と、
前記記憶手段から読み込んだ発話可能性ポイントが最も高いポイントのユーザを選択する次発話候補者選択ステップ（ステップ８）と、
表示手段に表示されている映像中の次発話候補選択ステップ（ステップ８）で選択されたユーザの表示時領域に枠を重畳表示する次発話候補表示ステップ（ステップ９）と、を行う。

また、本発明（請求項２）は、請求項１の重畳表示ステップにおいて、
次発話候補者選択ステップ（ステップ８）において選択された発話可能性ポイントが最も高いポイントのユーザの領域を所定の時間、所定の時間間隔で点滅させて重畳表示する。

図２は、本発明の原理構成図である。

本発明（請求項３）は、複数の参加者によるWeb会議に用いられるクライアント端末において、次に発言する参加者を他の参加者に通知するWeb会議における発話の動作検出及び伝達装置１００であって、
映像及び音声を入力する映像・音声取込手段１０３と、
入力された音声から発話を検出し、発話の有無を記憶手段１０７に格納する発話検出手段１０６と、
入力された映像と音声から、音声での相槌、手の上下方向の動き、やや目立つように頷く、身体を前後に動かす、のいずれかを予備動作として検出して、各動作毎に所定のポイントを付与して記憶手段１０７に格納する予備動作検出手段１０４と、
所定の有効時間内の予備動作のポイントを合計した値を発話可能性ポイントとして記憶手段１０７に格納する発話可能性ポイント計算手段１０５と、
記憶手段１０７から発話の有無と発話可能性ポイントを読み出して、ネットワークを介して装置に送信し、他の装置から発話の有無と発話可能性ポイントを受信し、記憶手段１０７に格納する送受信手段１０８と、
記憶手段１０７から発話があるユーザを選択する話者選択手段１０９と、
発話可能性ポイントが最も高いポイントのユーザを選択する次発話候補者選択手段１１０と、
表示手段１１３に表示されている映像中の話者選択手段及び次発話候補選択手段で選択されたユーザの表示領域の回りに枠を重畳表示する枠重畳手段１１２と、を有する。

また、本発明（請求項４）は、請求項３の枠重畳表示手段１１２において、
次発話候補者選択手段１１０で選択された発話可能性ポイントが最も高いポイントのユーザの領域を所定の時間、所定の時間間隔で点滅させて重畳表示する手段と、を含む。

本発明（請求項５）は、請求項３または請求項４に記載のWeb会議における発話動作検出及び伝達装置を構成する各手段としてコンピュータを機能させるためのWeb会議における発話動作検出及び伝達プログラムである。

上記のように本発明によれば、ブラウザ上で行い、伝送遅延の存在するWeb会議において、発言し始めるユーザが予め分かるので、発話権の交替がスムーズになり、発話の衝突頻度が減少する。これにより、活発な議論を行うことが可能となる。

本発明の原理を説明するための図である。 本発明の原理構成図である。 本発明の一実施の形態におけるクライアント端末の構成図である。 本発明の一実施の形態におけるクライアント端末の動作のフローチャートである。 本発明の一実施の形態における発話可能性ポイント計算のフローチャートである。 本発明の一実施の形態におけるｔ_nでのユーザ間発話可能性ポイントの比較の例である。

人は対面環境での会議で発言し始める前に、いくつかの特徴的な行動を行っている。これを発話の「予備動作」と呼ぶこととすると、発話の予備動作には、前の発話に対して「ああ」「そうそう」といった音声での相槌を打つ、手を上下方向へ動かす、やや目立つように頷く、身体を前後に動かす、顔を上げる、顔を左右の参加者へ向けるといった動作がある。本発明では、この予備動作のうち、ブラウザ上で行うWeb会議に適用できるものを取り上げる。Web会議では参加者の映像が全てディスプレイ上に表示されるため、参加者は通常、ディスプレイの方向へ顔を向けている。このため、対面環境で行っている発話の予備動作のうち、顔を上げる、顔を左右の参加者に向けるといった動作をWeb会議へ適用することは現実的ではない。以上の検討から、音声での相槌を打つ、手を上下方向へ動かす、やや目立つように頷く、身体を前後に動かすという４つの動作をカメラとマイクを用いて取得し、Web会議環境での発話の予備動作として扱う。この４つの発話の予備動作を検知して他の参加者へ伝達することで、たとえ遅延があろうとも、ある参加者が発言をし始める前に、他の参加者がそれを認識することができるため、発話の衝突を減らすことができる。

以下、図面と共に本発明の実施の形態を説明する。

図３は、本発明の一実施の形態におけるクライアント端末の構成を示す。

動図に示すクライアント端末１００は、クライアント毎に所有するパーソナルコンピュータ（PC）であり、映像・音声取り込み部１０３、予備動作検出部１０４、発話可能性ポイント計算部１０５、発話検出部１０６、メモリ１０７、送受信部１０８、話者選択部１０９、次発話候補者選択部１１０、点滅間隔・時間計算部１１１、枠重畳部１１２から構成される。

図４は、本発明の一実施の形態におけるクライアント端末の動作のフローチャートである。

クライアント端末１００は、ビデオカメラ１０１とマイク１０２より映像・音声取り込み部１０３へユーザの映像と音声が取り込まれ、取り込まれた映像は予備動作検出部１０４へ伝送され、音声は予備動作検出部１０４と発話検出部１０６へ伝達される（ステップ１０１）。発話検出部１０６では、ユーザの発話を検出し、発話の有無をメモリ１０７へ記録する（ステップ１０２）。

予備動作検出部１０４は、取り込まれたユーザの映像と音声を基に発話の予備動作を検出する（ステップ１０３）。ここで検出された予備動作に応じて発話可能性ポイント計算部１０５は、そのユーザの発話可能性ポイントを計算し、メモリ１０７に記録する（ステップ１０４）。発話の有無と発話可能性ポイントは、メモリ１０７から読み出されて送受信部１０８から通信ネットワークを介して各クライアント端末で共有する（ステップ１０５）。ここで、「共有する」とは、各クライアント端末内のメモリに当該発話の有無と発話可能性ポイントを格納することを意味する。

メモリ１０７で共有された全てのユーザの発話有無を基に、話者選択部１０９は話者を選択し（ステップ１０６）、枠重量部１１２にて、話者である参加者映像領域の回りに赤い枠を重畳する（ステップ１０７）。また、共有された全てのユーザの発話可能性ポイントを基に、次発話候補者選択部１１０で次に発話する可能性が最も高いユーザを選択する（ステップ１０８）。そして、点滅間隔・時間計算部１１１で求められた間隔と時間に応じて点滅する赤い枠を、枠重畳部１１２で赤い枠を重畳した映像を表示部１１３において点滅表示する（ステップ１０９，１１０）。

音声はマイク１０２から取得したものを、送受信部１０８を経てネットワーク上にあるサーバで全てのユーザ分を多重して共有し、スピーカ１１４から出力する（ステップ１１１）。

次に、上記の構成における予備動作検出部１２０４の動作を以下に詳しく説明する。

発話の予備動作として、
・音声での相槌を打つ；
・手を上下方向へ動かす；
・やや目立つように頷く；
・身体を前後に動かす；
という４つの動作を検出する。各動作の検出方法を以下に示す。

１）音声での相槌；
映像・取込部１０３で取り込んだ音声で、音圧が閾値d0 dbを超えるもののうち、t0秒以内のものを相槌と判断する。

２）手を上下方向へ動かす；
映像・音声取込部１０３で取り込んだ映像領域の中の肌色の領域を切り出し、この肌色領域の中心点(XH，YH)がt1秒間のフレーム間差分を取ったときに、ｙ軸方向へｙ１ピクセル移動した場合、上下方向への手の動きと判断する。但し、この肌色の領域のうち、顔認識により、顔と判断された領域はこの判定から除く。肌色領域の切り出しと、顔認識には既存技術を用いる。

３）やや目立つように頷く；
映像・音声取込部１０３で取り込んだ映像領域の中から、t2秒間のフレーム間差分を取ったときに移動した領域の、移動前の領域の中心点が（XM，YM）が、顔認識によって得られた顔領域の中心点（Fx，Fy）からx軸方向へx２ピクセル以下で、かつ、ｙ軸方向へy2ピクセル以下である場合、これをやや目立つ頷きと判断する。但し、顔認識には既存技術を用いる。

４）身体を前後に動かす；
映像・音声取込部１０３で取り込んだ映像領域の中から、t3秒間のフレーム間差分をとったときに移動した領域の中心点（XB，YB）がいずれかの方向へa1ピクセル以上移動していた場合、これを身体の動きと判断する。但し、顔認識により顔と判断された領域と、肌色であると判断された領域はこの判定から除く。顔認識と肌色領域の判定には既存技術を用いる。

上記のようにして検出された予備動作は、各動作毎に予め決められているポイントが付与されてメモリ１０７に格納される。

次に、発話検出部１０６について説明する。

発話検出部１０６は、映像・音声取込部１０３で取り込まれた音声で音圧が閾値d1 dbを超えるもののうち、所定の時間（t4秒）を超えるものを発話と判断し、メモリ１０７に格納する。

次に、発話可能性ポイント計算部１０５について説明する。

発話可能性ポイント計算部１０５は、予備動作検出部１０４で検出され、メモリ１０７に格納されている予備動作である相槌、手の上下方向への動き、頷き、身体の動きをそれぞれＡ，Ｂ，Ｃ，Ｄポイントとすると（例えば、Ａ=1.5，Ｂ＝2，Ｃ＝1，Ｄ=1.5）、発話可能性ポイントＴは初期値が０で、相槌、手の動き、頷き、身体の動きが予備動作検出部１０４で検出されてから有効時間ｔ_A-Dの間は、予備動作のポイントＡ〜Ｄがそれぞれ加算され、メモリ１０７に格納される。この動作の例を図５に示す。有効時間は、２／（Ａ〜Ｄ）で求める。図５の内容を以下に示す。

ステップ３０１） 発話可能性ポイント計算部１０５は、発話可能性ポイントＴを０にする。

ステップ３０２） 「相槌」が検出されてから２／Ａ秒以内かを判断し、そうであれば、ステップ３０３に移行し、そうでない場合はステップ３０４に移行する。

ステップ３０３） 発話可能性ポイントＴに「相槌」のポイントＡを加算する。

ステップ３０４） 「手の動き」が検出されてから２／Ｂ秒以内かを判定し、そうであればステップ３０５に移行し、そうでない場合はステップ３０６に移行する。

ステップ３０５） 発話可能性ポイントＴに「手の動き」のポイントＢを加算する。

ステップ３０６） 「頷き」が検出されてから２／Ｃ秒以内かを判定し、そうであればステップ３０７に移行し、そうでない場合はステップ３０８に移行する。

ステップ３０７） 発話可能性ポイントＴに「頷き」のポイントＣを加算する。

ステップ３０８） 「身体の動き」が検出されてから２／Ｄ秒以内かを判定し、そうであればステップ３０９に移行し、そうでなければ当該処理を終了する。

ステップ３０９） 発話可能性ポイントＴに「身体の動き」のポイントＤを加算する。

話者選択部１０９は、発話検出部１０６で発話と判断され、メモリ１０７に格納されている全てのユーザを話者として選択する。

次発話候補者選択部１１０は、その時点で最も発話可能性ポイントＴをメモリ１０７から取得して、最も発話可能性ポイントＴが高いユーザを一人選択する。当該次発話候補者選択部１１０のユーザの選択方法を図６に示す。

点滅間隔・時間計算部１１１は、次発話候補者選択部１１０でユーザが選択された時点の発話可能性ポイントＴを用いて、点灯、消滅ともに、１／（２*T）秒（最短１／６秒）間隔で繰り返す。点滅時間は、次発話候補者として選択されてから、次に他のユーザに発話可能性ポイントＴの値が抜かれるまでとし、そのユーザの発話可能性ポイントＴが０になっても終了とする。

上記のクライアント端末１００の各構成要素の動作をプログラムとして構築し、各クライアントのパーソナルコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。

また、構築されたプログラムをハードディスクや、フレキシブルディスク・ＣＤ−ＲＯＭ等の可搬記憶媒体に格納し、コンピュータにインストールする、または、配布することが可能である。

なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。

１００ 発話動作検出及び伝達装置、クライアント端末
１０１ ビデオカメラ
１０２ マイク
１０３ 映像・音声取込手段、映像・音声取込部
１０４ 予備動作検出手段、予備動作検出部
１０５ 発話可能性ポイント計算手段、発話可能性ポイント計算部
１０６ 発話検出手段、発話検出部
１０７ 記憶手段、メモリ
１０８ 送受信手段、送受信部
１０９ 話者選択手段、話者選択部
１１０ 次発話候補者選択手段、次発話候補者選択部
１１１ 点滅間隔・時間計算部
１１２ 枠重畳手段、枠重畳部
１１３ 表示手段、表示装置
１１４ スピーカ

Claims (5)

1. 複数の参加者によるWeb会議に用いられるクライアント端末において、次に発言する参加者を他の参加者に通知するWeb会議における発話の動作検出及び伝達方法であって、
   入力された音声から発話を検出し、発話の有無を記憶手段に格納する発話検出ステップと、
   入力された映像と音声から、音声での相槌、手の上下方向の動き、やや目立つように頷く、身体を前後に動かす、のいずれかを予備動作として検出して、各動作毎に所定のポイントを付与して前記記憶手段に格納する予備動作検出ステップと、
   所定の有効時間内の前記予備動作のポイントを合計した値を発話可能性ポイントとして前記記憶手段に格納する発話可能性ポイント計算ステップと、
   前記記憶手段から発話の有無と前記発話可能性ポイントを読み出して、ネットワークを介して他のクライアント端末に送信する送信ステップと、
   前記発話の有無と前記発話可能性ポイントを受信すると記憶手段に格納する受信ステップと、
   前記記憶手段から発話があるユーザを選択する話者選択ステップと、
   表示手段に表示されている映像中の前記話者選択ステップで選択された前記発話があるユーザの表示領域の回りに枠を重畳表示する話者表示ステップと、
   発話可能性ポイントが最も高いポイントのユーザを選択する次発話候補者選択ステップと、
   表示手段に表示されている映像中の前記次発話候補選択ステップで選択されたユーザの表示領域に枠を重畳表示する重畳表示ステップと、
   を行うことを特徴とするWeb会議における発話動作検出及び伝達方法。
2. 前記重畳表示ステップは、
   前記次発話候補者選択ステップにおいて選択された前記発話可能性ポイントが最も高いポイントのユーザの領域を所定の時間、所定の時間間隔で点滅させて重畳表示する
   請求項１記載のWeb会議における発話動作検出及び伝達方法。
3. 複数の参加者によるWeb会議に用いられるクライアント端末において、次に発言する参加者を他の参加者に通知するWeb会議における発話の動作検出及び伝達装置であって、
   映像及び音声を入力する映像・音声取込手段と、
   入力された音声から発話を検出し、発話の有無を記憶手段に格納する発話検出手段と、
   入力された映像と音声から、音声での相槌、手の上下方向の動き、やや目立つように頷く、身体を前後に動かす、のいずれかを予備動作として検出して、各動作毎に所定のポイントを付与して前記記憶手段に格納する予備動作検出手段と、
   所定の有効時間内の前記予備動作のポイントを合計した値を発話可能性ポイントとして前記記憶手段に格納する発話可能性ポイント計算手段と、
   前記記憶手段から発話の有無と前記発話可能性ポイントを読み出して、ネットワークを介して装置に送信し、他の装置から発話の有無と前記発話可能性ポイントを受信し、前記記憶手段に格納する送受信手段と、
   前記記憶手段から発話があるユーザを選択する話者選択手段と、
   発話可能性ポイントが最も高いポイントのユーザを選択する次発話候補者選択手段と、
   表示手段に表示されている映像中の前記話者選択手段及び前記次発話候補選択手段で選択されたユーザの表示時領域の回りに枠を重畳表示する枠重畳手段と、
   を有することを特徴とするWeb会議における発話動作検出及び伝達装置。
4. 前記枠重畳表示手段は、
   前記次発話候補者選択手段において選択された前記発話可能性ポイントが最も高いポイントのユーザの領域を所定の時間、所定の時間間隔で点滅させて重畳表示する手段と、
   を含む請求項３記載のWeb会議における発話動作検出及び伝達装置。
5. 請求項３または請求項４に記載のWeb会議における発話動作検出及び伝達装置を構成する各手段としてコンピュータを機能させるためのWeb会議における発話動作検出及び伝達プログラム。

Images