JP5340880B2

JP5340880B2 - 遠隔会話システムの出力制御装置、その方法、およびコンピュータが実行可能なプログラム

Info

Publication number: JP5340880B2
Application number: JP2009237543A
Authority: JP
Inventors: 良太野村; 浩造西野; 潤杉山; 泰史塚本
Original assignee: Lenovo Singapore Pte Ltd
Current assignee: Lenovo Singapore Pte Ltd
Priority date: 2009-10-14
Filing date: 2009-10-14
Publication date: 2013-11-13
Anticipated expiration: 2029-10-14
Also published as: JP2011087074A

Description

本発明は、遠隔会話システムの出力制御装置、その方法、およびコンピュータが実行可能なプログラムに関する。

近年、通信回線の高速化・大容量化に伴い、２地点またはそれ以上の複数の地点間を結んで、画像データおよび音声データを授受することにより、会議を開催することが可能な、テレビ会議システム等の「遠隔会話システム」が使用されている。遠隔会議の開催される複数の会議室のうちの一方に複数の参加者がいる場合には、通常は、この一方の会議室内で、発言中の参加者の画像や音声を選択的に他方の会議室側に送信することが必要である。従来の遠隔会話システムとして、例えば、特許文献１では、撮影中の画像情報に基づいて、発言者を特定して選択的に画像を撮影したり、あるいは、選択的に音声を集音する技術が提案されている。また、特許文献２では、撮影中の画像情報に基づいて、発言者を特定して選択的に画像を撮影する技術が提案されている。

上記遠隔会話システムでは、発言していない参加者のマイクから不要な音が混入し、会議を妨げるという問題がある（例えば、パソコンのキータイプ音、参加者周辺の騒音等）。不要な音の混入を避けるために、遠隔会議端末にはミュートスイッチがついている場合が多いが、ミュートスイッチを使用する場合、発言の際にミュート解除を忘れ、会議に支障を来す可能性が生じる場合がある。

特開２００４−１１８３１４号公報特開２００３−１８９２７３号公報

本発明は、上記に鑑みてなされたものであって、参加者の手を煩わせることなく、不要な音の混入を防止して、高品位な通話を行うことが可能な遠隔会話システムの出力制御装置、その方法、およびコンピュータが実行可能なプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、各端末間で少なくとも音声を送受信する遠隔会話システムの出力制御装置において、撮像手段で撮像された参加者の画像データ中の口の動きを検出して、発話状態か否かを検出する発話状態検出手段と、前記発話状態検出手段で発話状態と検出された場合に、音声入力手段で集音される音声データを出力する出力制御手段と、を備えたことを特徴とする。

また、本発明の好ましい態様によれば、さらに、前記音声入力手段で集音された音声データを記憶する記憶手段を備え、前記出力制御手段は、前記発話状態検出手段で発話状態と検出された場合に、前記記憶手段に記憶されている音声データを第１の所定時間分前から出力することが望ましい。

また、本発明の好ましい態様によれば、前記出力制御手段は、前記撮像手段で撮影された参加者の画像データを出力することが望ましい。

また、本発明の好ましい態様によれば、前記出力制御手段は、前記記憶手段に記憶されている音声を第１の所定時間分前から出力する場合に、第２の所定時間だけ早送り出力またはスキップ出力を行って、出力する音声データおよび画像データを同期させることが望ましい。

また、本発明の好ましい態様によれば、前記記憶手段は、前記撮像手段で撮影した参加者の画像を記憶し、前記出力制御手段は、前記発話状態手段で口が発話状態と検出された場合に、前記記憶手段に記憶されている画像を前記第１の所定時間分前から出力し、音声データと画像データを同期させることが望ましい。

また、本発明の好ましい態様によれば、前記発話状態検出手段は、さらに、前記音声入力手段から入力される音声データの音量が閾値以上であるか否かを判断し、前記撮影手段で撮影した参加者の画像データ中の口の動きを検出し、かつ、前記音声データの音量が閾値以上である場合に、前記発話状態を検出することが望ましい。

また、本発明の好ましい態様によれば、前記出力制御装置は、送信側の前記端末に搭載されており、前記出力制御手段は、受信側の前記端末に音声データおよび画像データを前記出力することが望ましい。

また、本発明の好ましい態様によれば、前記出力制御装置は、受信側の前記端末に搭載されており、前記出力制御手段は、送信側の前記端末から受信した音声データおよび画像データを、自己のスピーカおよびモニタに前記出力することが望ましい。

また、本発明の好ましい態様によれば、前記出力制御装置は、各端末間の通信を中継する中継装置であり、前記出力制御手段は、送信側の前記端末から受信した音声データおよび画像データを、受信側の前記端末に前記出力することが望ましい。

また、上述した課題を解決し、目的を達成するために、本発明は、各端末間で少なくとも音声を送受信する遠隔会話システムの出力制御方法において、撮像手段で撮像された参加者の画像データ中の口の動きを検出して、発話状態か否かを検出する発話状態検出工程と、前記発話状態検出工程で発話状態と検出された場合に、音声入力手段で集音される音声データを出力する出力工程と、を含むことを特徴とする。

また、上述した課題を解決し、目的を達成するために、本発明は、各端末間で少なくとも音声データを送受信する遠隔会話システムの出力制御装置に搭載されるプログラムであって、撮像手段で撮像された参加者の画像データ中の口の動きを検出して、発話状態か否かを検出する発話状態検出工程と、前記発話状態検出工程で発話状態と検出された場合に、音声入力手段で集音される音声データを出力する出力工程と、をコンピュータに実行させることが望ましい。

以上説明したように、本発明によれば、各端末間で少なくとも音声を送受信する遠隔会話システムの出力制御装置において、撮像手段で撮像された参加者の画像データ中の口の動きを検出して、発話状態か否かを検出する発話状態検出手段と、前記発話状態検出手段で発話状態と検出された場合に、音声入力手段で集音される音声データを出力する出力制御手段と、を備えているので、参加者の手を煩わせることなく、不要な音の混入を防止して、高品位な通話を行うことが可能な遠隔会話システムの出力制御装置を提供することが可能になるという効果を奏する。

図１は、本発明に係る遠隔会話システムを適用したテレビ会議システムの構成例を説明するための概念図である。図２は、図１の通信端末の構成例を説明するための概略ブロック図である。図３は、画像データおよび音声データの出力タイミングの一例を説明するための図である。図４は、実施の形態２に係る画像データおよび音声データの出力タイミングの一例を説明するための図である。図５は、実施の形態２に係るテレビ会議システムの構成例を説明するための概念図である。図６は、実施の形態３に係る通信端末の構成例を説明するための概略ブロック図である。図７は、実施の形態４に係るテレビ会議システムの構成を説明するための概念図である。図８は、実施の形態４に係る中継装置の構成例を説明するための概略ブロック図である。

以下に、この発明に係る遠隔会話システムの出力制御装置、その方法、およびコンピュータが実行可能なプログラムの実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。また、下記実施の形態における構成要素には、当業者が容易に想定できるものまたは実質的に同一のものが含まれる。

（実施の形態１）
実施の形態１では、本発明に係る遠隔会話システムの出力制御装置を送信側に適用した場合について説明する。図１は、本発明に係る遠隔会話システムを適用したテレビ会議システムの構成例を説明するための概念図である。図１に示したテレビ会議システムは、会議室１に配置された通信端末１００と会議室２に配置された通信端末２００との間で、公衆回線網やインターネットなどのネットワーク３００を介して、データ通信が可能となっている。通信端末１００，２００としては、例えば、パーソナルコンピュータを使用することができる。ここで、会議を開催する会議室の数は限定されないが、以下の説明では、説明を簡略化するために、２つの会議室を結んで、「テレビ会議」が行われているものとし、会議の参加者は、会議室１の参加者Ａと会議室２の参加者Ｂの２名とする。なお、ネットワーク３００は公衆回線網やインターネットに限られるものではなく、他の広域・狭域のネットワークを使用してもよい。

通信端末１００，２００は、同様な構成となっており、それぞれ、参加者を撮影するためのカメラと、参加者の音声を入力するためのマイクと、通話相手の画像を表示するためのモニタと、通話相手の音声を出力するためのスピーカ等を備えている。

本テレビ会議システムでは、例えば、会議室１において、通信端末１００は、常時、カメラにより撮影した画像データを外部出力（通信端末２００への出力）している。また、通信端末１００は、参加者Ａの発話状態を検出し、参加者Ａが発話状態にある場合は、音声データの外部出力（通信端末２００への出力）をＯＮ、参加者Ａが発話状態にない場合は、音声の外部出力をＯＦＦとしている。これは、参加者Ａが発話状態にない場合に外部の騒音等を通信端末２００に送信しないためである。

具体的には、通信端末１００では、カメラで参加者Ａの撮影およびマイクで音声の入力を行っており、撮影した画像データ中で参加者Ａの口の動きを検出した場合に、参加者Ａが発話状態にあると判断している。ここで、参加者Ａの口の動きを検出した場合のみ、音声データの外部出力（通信端末２００への出力）をＯＮとしているが、実際に、参加者Ａが口を動かした場合に、その動きを検出し、検出した後、音声データの外部出力をＯＮすることになるが、参加者Ａが口を動かしてから音声データの外部出力をＯＮするまでは、画像処理等に伴う遅延が生じるため、参加者Ａの発言のうち、最初の部分の音声が欠落してしまう。そこで、本実施の形態では、音声の欠落を防止するため、詳細を後述するように、マイクから入力される音声を常時、バッファメモリにバッファリングしておき、参加者Ａの口の動きを検出した後、バッファメモリにバッファリングされている音声データのうち、第１の所定時間Ｔ_１前からの音声データを第２の所定時間Ｔ_２、早送り出力して、音声と画像を同期させるようにしている。すなわち、通信端末の送信側で音声と画像の出力タイミングを調整している。

図２は、図１の通信端末１００の構成例を説明するための概略ブロック図である。端末装置１００は、図２に示すように、カメラ１０１と、マイク１０２と、データ処理部１０３と、バッファメモリ１０４と、口検出部１０５と、出力制御部１０７と、スピーカ１０８と、モニタ１０９と、データ通信部１１０等を備えている。

カメラ１０１は、参加者Ａを撮影して、撮影した画像データをデータ処理部１０３に出力する。マイク１０２は、音声を集音して音声データをデータ処理部１０３に出力する。データ処理部１０３は、カメラ１０１から入力される画像データおよびマイク１０２から入力される音声データをデータ処理（Ａ／Ｄ変換等）し、データ処理後の画像データをデータ通信部１１０および口検出部１０５に転送すると共に、データ処理後の音声データをバッファメモリ１０４に順次格納する。

口検出部１０５は、データ処理部１０３から入力される画像データの顔画像の部分を検出し、さらに、検出した顔画像の口を特定してその動きを検出し、口の動きの検出結果（例えば、口の動き有りの場合「１」、口の動き無しの場合「０」）を出力制御部１０７に出力する。顔およびその口の動きを検出する方法は、テンプレートマッチング等の公知の方法を使用することができるので、その詳細な説明は省略する。

出力制御部１０７は、口検出部１０５で口の動きが検出された場合に、バッファメモリ１０４に順次格納される音声データをデータ通信部１１０に出力する。

データ通信部１１０は、ネットワーク３００を介してデータの送受信を行うためのものであり、画像データおよび音声データをネットワーク３００に送信し、かつ、ネットワーク３００を介して通信端末２００から送信される画像データおよび音声データを受信する。なお、データ通信部１１０は、画像データおよび音声データをコード化して送信することにしてもよく、また、コード化された画像データおよび音声データを受信した場合には、デコードすることにしてもよい。

モニタ１０９は、例えば、液晶表示デバイスであり、データ通信部１１０がネットワーク３００を介して通信端末２００から受信した画像データに応じた画像を表示する。スピーカ１０８は、データ通信部１１０がネットワーク３００を介して通信端末２００から受信した音声データに応じた音声を出力する。

上記構成の通信端末１００の画像データおよび音声データの送受信動作の概略を説明する。まず、送信動作を説明する。カメラ１０１で撮影された参加者Ａの画像データと、マイク１０２で集音された参加者Ａの音声データは、データ処理部１０３に入力される。データ処理部１０３に入力された画像データは、データ通信部１１０および口検出部１０５に転送される。データ通信部１１０に入力される音声データは、ネットワーク３００を介して通信端末２００に送信される。また、口検出部１０５では、入力される画像中の口の動きの検出が行われ、その検出結果が出力制御部１０７に出力される。他方、データ処理部１０３に入力された音声データは、バッファメモリ１０４に順次バッファリングされる。出力制御部１０７は、口検出部１０５で口の動きが検出された場合に、バッファメモリ１０４にバッファリングした音声データをデータ通信部１１０に転送する。データ通信部１１０に入力される音声データは、ネットワーク３００を介して通信端末２００に送信される。

つぎに、受信動作を説明する。データ通信部１１０は、ネットワーク３００を介して通信端末２００から送信されてくる、参加者Ｂの画像データおよび音声データを受信して、モニタ１０９により、対応する画像を表示し、スピーカ１０８より対応する音声を出力する。

上述したように、参加者Ａが口を動かしてから音声データの外部出力をＯＮするまでの画像処理等による遅延に伴う音声の欠落が生じてしまう。出力制御部１０７は、音声の欠落を防止するため、以下のように音声の出力タイミングを調整している。

図３は、画像データおよび音声データの出力タイミングの一例を説明するための図である。同図において、（ａ）は画像入力タイミング、（ｂ）は画像出力タイミング、（ｃ）は音声入力タイミング（バッファメモリ１０４への入力）、（ｄ）音声出力タイミング（バッファメモリ１０４からの出力）を示している。また、ｔ_０は、口の開口を検出した時刻、ｔ_４は、口の動きの停止を検出した時刻、Ｔ_１は、口の開口を検出して、音声データ出力をＯＮさせるまでの第１の所定時間、Ｔ_２は、Ｔ_１での遅れを取り戻すために、音声データを早送り出力する第２の所定時間、Ｔ_３は、音声データを通常出力する時間を示している。

同図において、画像データ中で口の開口を時刻ｔ_０に検出した場合に、検出後に音声データを出力すると第１の所定時間Ｔ_１分の遅延が生じるため、第１の所定時間Ｔ_１分の音声が欠落してしまう。音声の欠落を避けるために、第１の所定時間Ｔ_１後に口が開いた時点ｔ_０からの音声データの出力を開始すると、音声と画像とのズレが生じる。そこで、出力制御部１０７は、口の開口が検出された場合に、バッファメモリ１０４にバッファリングしている、第１の所定時間Ｔ_１前（時刻ｔ_０）からの音声データを第２の所定時間Ｔ_２の間、早送りで出力して、音声と画像を同期させ、同期させた後、Ｔ_３の間、通常出力して、音声の欠落および画像と音声のズレを解消している。なお、早送り出力の代わりにスキップ出力をすることにしてもよい。

以上説明したように、実施の形態１によれば、通信装置１００は、カメラ１０１で参加者Ａを撮影すると共に、マイク１０２で参加者Ａの音声を集音し、カメラ１０１で撮影された参加者の画像データを、データ通信部１１０を介して、通信端末２００に送信する一方、マイク１０２から入力される音声データをバッファメモリ１０４にバッファリングしておき、口検出部１０５は、カメラ１０１で撮影された参加者の画像データ中の口の動きを検出して通話状態を検出し、出力制御部１０７は、口検出部１０５で参加者Ａの口の動きが検出された後、すなわち、発話状態が検出された後、バッファメモリ１０４にバッファリングしている、第１の所定時間Ｔ_１前からの音声データを第２の所定時間Ｔ_２、早送り出力し、その後、通常出力して、データ通信部１１０を介して、通信端末２００に送信することとしたので、参加者の手を煩わせることなく、不要な音の混入を防止して、高品位な通話を行うことができ、また、参加者の発言した音声の欠落および画像と音声とのズレを防止することが可能となる。付言すると、受信側の通信端末２００では、通信装置１００から送信されてくる音声データおよび画像データをそのまま再生するだけで、不要な音の混入がなく、かつ、参加者の発言した音声の欠落および画像と音声とのズレのない通話が可能となる。

なお、ここでは、撮影した画像中で参加者Ａの口の動きを検出した場合に、参加者Ａが発話状態であると判断しているが、参加者Ａが口を開けているが、発言していない状態を発話状態と判断することを防止するため、さらに、音声レベル判断部を設けることにしてもよい。より具体的には、口検出部１０５が撮影した画像データ中で参加者Ａの口の動きを検出し、かつ、音声レベル判断部がマイク１０２から入力される音声データの音量（音声レベル）が閾値以上と判断した場合に、参加者Ａが発話状態であると判断する構成としてもよい。

（実施の形態２）
実施の形態１では、マイク１０２から入力される音声を常時、バッファメモリ１０４にバッファリングしておき、参加者Ａの口の動きを検出した後、バッファメモリ１０４にバッファリングした第１の所定時間Ｔ_１前の音声を第２の所定時間Ｔ_２、早送り出力する構成であるが、参加者Ｂは、早送りした音声を聞くことになるので、参加者Ａの発言を聞きづらくなる。そこで、実施の形態２では、マイク１０２から入力される音声データおよびカメラ１０１から入力される画像データを、常時、バッファメモリ１０４にバッファリングしておき、参加者Ａの口の動きを検出した後、バッファメモリ１０４にバッファリングしている、第１の所定時間Ｔ_１前からの音声データおよび画像データを出力し、参加者Ａの発言が聞きづらくなるという点を解消している。

実施の形態２に係る通信端末１００の構成例の概略は図２と同様であるので、異なる動作についてのみ説明する。図２において、データ処理部１０３は、カメラ１０１から入力される画像データおよびマイク１０２から入力される音声データをバッファメモリ１０４にそれぞれ順次格納する。口検出部１０５は、データ処理部１０３から入力される画像の顔画像の部分を検出し、さらに、検出した顔画像の口を特定してその動きを検出し、口の動きの検出結果（例えば、口の動き有りの場合「１」、口の動き無しの場合「０」）を出力制御部１０７に出力する。出力制御部１０７は、口検出部１０５で口の動きが検出された場合に、バッファメモリ１０４に順次格納されている、第１の所定時間Ｔ_１前からの画像データおよび音声データをデータ通信部１１０に出力する。データ通信部１１０に入力される画像データおよび音声データは、ネットワーク３００を介して通信端末２００に送信される。

図４は、実施の形態２に係る画像データおよび音声データの出力タイミングの一例を説明するための図である。同図において、（ａ）は画像入力タイミング（バッファメモリ１０４への入力）、（ｂ）は画像出力タイミング（バッファメモリ１０４からの出力）、（ｃ）は音声入力タイミング（バッファメモリ１０４への入力）、（ｄ）音声出力タイミング（バッファメモリ１０４からの出力）を示している。また、ｔ_１は、口の開口を検出した時刻、ｔ_４は、口の動きの停止を検出した時刻、Ｔ_１は、口の開口を検出して、音声データおよび画像データの出力をＯＮさせるまでの第１の所定時間を示している。

同図において、出力制御部１０７は、口の開口が検出された後、第１の所定時間Ｔ_１後に、メモリバッファ１０４に格納している、第１の所定時間Ｔ_１前（時刻ｔ_０）からの音声データおよび画像データを出力する。これにより、通信装置２００では、参加者Ａの発言を聞き易くなり、音声の早送りやスキップのない自然な通話が可能となる。

（実施の形態３）
実施の形態３では、本発明に係る遠隔会話システムの出力制御装置を受信側に適用した場合について説明する。実施の形態１，２では、送信側で、音声データと画像データの出力タイミングを調整しているが、実施の形態３では、受信側で音声データと画像データの出力タイミングを調整する場合について説明する。図５は、実施の形態２に係るテレビ会議システムの構成例を説明するための概念図である。図５において、図１と同等機能を有する部位には同一符号を付してある。同図において、送信側である通信端末１００では、カメラ１０１で撮影した参加者の画像データおよびマイク１０２で集音した音声データをそのまま通信端末２００に送信し、受信側である通信端末２００は、受信した画像データおよび音声データの出力タイミングを調整する。

図６は、実施の形態３に係る通信端末２００の構成例を説明するための概略ブロック図である。通信端末１００の構成は通信端末２００と同様である。通信端末２００は、図６に示すように、カメラ２０１と、マイク２０２と、データ処理部２０３と、バッファメモリ２０４と、口検出部２０５と、出力制御部２０７と、スピーカ２０８と、モニタ２０９と、データ通信部１２０等を備えている。

カメラ２０１は、参加者Ｂを撮影して、撮影した画像データをデータ処理部２０３に出力する。マイク２０２は、音声を集音して音声データをデータ処理部２０３に出力する。データ処理部２０３は、カメラ２０１から入力される画像データおよびマイク２０２から入力される音声データをデータ処理してデータ通信部１２０に転送する。データ通信部１２０からは、画像データおよび音声データがネットワーク３００を介して通信端末１００に送信される。

他方、データ通信部１２０は、ネットワーク３００を介して通信端末１００から送信されてくる画像データおよび音声データを受信する。データ通信部１２０は、受信した画像データをモニタ２０９に出力して画像表示を行わせると共に口検出部２０５に転送する。また、データ通信部１２０は、受信した音声データをバッファメモリ２０４に順次格納する。口検出部２０５は、データ通信部１２０から入力される画像データの顔画像の部分を検出し、さらに、検出した顔画像の口を特定してその動きを検出し、口の動きの検出結果（例えば、口の動き有りの場合「１」、唇の動き無しの場合「０」）を出力制御部２０７に出力する。出力制御部２０７は、口検出部２０５で口の動きが検出された場合に、バッファメモリ２０４に順次格納される音声データをスピーカ２０８に出力して再生させる。ここで、出力制御部２０７の出力タイミングは、実施の形態１の図３で示した出力タイミングと同様である。なお、実施の形態２の図４で示した出力タイミングと同様とすることにしてもよい。

実施の形態３によれば、受信側で音声と画像の出力タイミングを調整しているので、送信側での音声と画像の出力タイミングの調整は不要となり、受信側の処理のみで、参加者の発言した音声の欠落および画像と音声とのズレのない通話が可能となる。

（実施の形態４）
実施の形態４では、本発明に係る遠隔会話システムの出力制御装置を中継装置に適用した場合について説明する。実施の形態４は、テレビ会議システムをサポートするサーバ等の中継装置を介して、テレビ会議を行う構成であり、中継装置が、音声データと画像データの出力タイミングを調整する場合について説明する。

図７は、実施の形態４に係るテレビ会議システムの構成を説明するための概念図である。図７において、図１と同等機能を有する部位には同一符号を付してある。同図において、会議室１に配置された通信端末１００と、会議室２に配置された通信端末２００と、中継装置５００とはネットワーク３００を介して接続されており、通信端末１００と通信端末２００は、中継装置５００を介して、画像データおよび音声データの送受信を行う。通信端末１００，２００は、それぞれカメラおよびマイクで取得した画像データおよび音声データをそのまま中継装置５００に送信し、中継装置５００は、受信した画像データと音声データとのタイミングを調整して、通信端末２００，１００に送信する。

図８は、実施の形態４に係る中継装置５００の構成例を説明するための概略ブロック図である。同図において、データ通信部５１０は、ネットワーク３００を介して通信端末１００から送信されてくる画像データおよび音声データを受信する。データ通信部５１０は、受信した画像を通信端末２００に送信すると共に、口検出部５０５に転送する。また、データ通信部５１０は、受信した音声データをバッファメモリ５０４に順次格納する。

口検出部５０５は、データ通信部５１０から入力される画像データの顔画像の部分を検出し、さらに、検出した顔画像の口を特定してその動きを検出し、口の動きの検出結果（例えば、口の動き有りの場合「１」、口の動き無しの場合「０」）を出力制御部５０７に出力する。出力制御部５０７は、口検出部５０５で口の動きが検出された場合に、バッファメモリ５０４に順次格納される音声データを読み出して、データ通信部５１０に出力し、データ通信部５１０は、音声データを通信端末２００に送信する。ここで、出力制御部５０７の出力タイミングは、実施の形態１の図３で示した出力タイミングと同様である。なお、実施の形態２の図４で示した出力タイミングと同様とすることにしてもよい。

実施の形態４によれば、中継装置５００で音声と画像の出力タイミングを調整しているので、送信側および受信側での音声と画像の出力タイミングの調整が不要となり、中継装置５００の処理のみで、参加者の発言した音声の欠落および画像と音声とのズレのない通話が可能となる。

なお、上記実施の形態１〜４のテレビ会議システムでは、接続する会議室を２つとしているが、本発明はこれに限られるものではなく、３つ以上の会議室を接続することにしてもよい。また、各会議室の参加者を１名としているが、これに限られるものではなく、各会議室の参加者を複数としてもよい。この場合、会議室の複数の参加者がいる場合は、複数の参加者のうち、いずれかの参加者の口の動きを検出した場合に、上記実施の形態の処理を行うことにすればよい。また、上記実施の形態１〜４では、本発明に係る遠隔会話システムをテレビ会議システムに適用した場合について説明したが、本発明は会議室で行われるテレビ電話会議に限られるものではなく、私的な通話にも利用可能であることは言うまでもない。また、上記実施の形態１〜４は、単独でまたは任意に組み合わせて実行可能である。

また、本発明の目的は、上述した遠隔会話システムの出力制御装置の機能を実現するソフトウエアのプログラムコードを記録した記録媒体を、システムまたは装置に供給し、そのシステムまたは装置のコンピュータ（または、ＣＰＵ、ＭＰＵ、ＤＳＰ）が記録媒体に格納されたプログラムコードを実行することによっても達成することが可能である。この場合、記録媒体から読み出されたプログラムコード自体が前述した出力制御装置の機能を実現することになり、そのプログラムコードまたはそのプログラムを記憶した記録媒体は本発明を構成することになる。プログラムコードを供給するための記録媒体としては、ＦＤ、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリ、ＲＯＭなどの光記録媒体、磁気記録媒体、光磁気記録媒体、半導体記録媒体を使用することができる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した出力制御装置の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した出力制御装置の機能が実現される場合も含まれること言うまでもない。

以上のように、本発明にかかる遠隔会話システムの出力制御装置、その方法、およびコンピュータが実行可能なプログラムは、会社等で行われる公的なテレビ電話会議や私的な通話等に広く利用可能である。

１、２会議室
１００、２００通信端末
１０１，２０１カメラ
１０２、２０２マイク
１０３、２０３データ処理部
１０４、２０４バッファメモリ
１０５、２０５口検出部
１０７、２０７出力制御部
１０８、２０８スピーカ
１１０、２１０データ通信部
３００ネットワーク
５００中継装置

Claims

各端末間で少なくとも音声を送受信する遠隔会話システムの出力制御装置において、
撮像手段で撮像された参加者の画像データ中の口の動きを検出して、発話状態か否かを検出する発話状態検出手段と、
前記発話状態検出手段で発話状態と検出された場合に、音声入力手段で集音される音声データを出力する出力制御手段と、
前記音声入力手段で集音された音声データを記憶する記憶手段と、
を備え、
前記出力制御手段は、前記発話状態検出手段で発話状態と検出された場合に、前記記憶手段に記憶されている音声データを第１の所定時間分前から出力することを特徴とする遠隔会話システムの出力制御装置。
前記出力制御手段は、前記撮像手段で撮影された参加者の画像データを出力することを特徴とする請求項１に記載の遠隔会話システムの出力制御装置。
前記出力制御手段は、前記記憶手段に記憶されている音声を前記第１の所定時間分前から出力する場合に、第２の所定時間だけ早送り出力またはスキップ出力を行って、出力する音声データおよび画像データを同期させることを特徴とする請求項１に記載の遠隔会話システムの出力制御装置。
前記記憶手段は、前記撮像手段で撮影した参加者の画像を記憶し、
前記出力制御手段は、前記発話状態手段で口が発話状態と検出された場合に、前記記憶手段に記憶されている画像を前記第１の所定時間分前から出力し、音声データと画像データを同期させることを特徴とする請求項１に記載の遠隔会話システムの出力制御装置。
前記発話状態検出手段は、さらに、前記音声入力手段から入力される音声データの音量が閾値以上であるか否かを判断し、前記撮影手段で撮影した参加者の画像データ中の口の動きを検出し、かつ、前記音声データの音量が閾値以上である場合に、前記発話状態を検出することを特徴とする請求項１〜請求項４のいずれか１つに記載の遠隔会話システムの出力制御装置。
前記出力制御装置は、送信側の前記端末に搭載されており、
前記出力制御手段は、受信側の前記端末に音声データおよび画像データを前記出力することを特徴とする請求項１〜請求項５のいずれか１つに記載の遠隔会話システムの出力制御装置。
前記出力制御装置は、受信側の前記端末に搭載されており、
前記出力制御手段は、送信側の前記端末から受信した音声データおよび画像データを、自己のスピーカおよびモニタに前記出力することを特徴とする請求項１〜請求項５のいずれか１つに記載の遠隔会話システムの出力制御装置。
前記出力制御装置は、各端末間の通信を中継する中継装置であり、
前記出力制御手段は、送信側の前記端末から受信した音声データおよび画像データを、受信側の前記端末に前記出力することを特徴とする請求項１〜請求項５のいずれか１つに記載の遠隔会話システムの出力制御装置。
各端末間で少なくとも音声を送受信する遠隔会話システムの出力制御方法において、
撮像手段で撮像された参加者の画像データ中の口の動きを検出して、発話状態か否かを検出する発話状態検出工程と、
前記発話状態検出工程で発話状態と検出された場合に、音声入力手段で集音される音声データを出力する出力工程と、
前記音声入力工程で集音された音声データを記憶手段に記憶する記憶工程と、
を含み、
前記出力工程では、前記発話状態検出工程で発話状態と検出された場合に、前記記憶手段に記憶されている音声データを第１の所定時間分前から出力することを特徴とする遠隔会話システムの出力制御方法。
各端末間で少なくとも音声データを送受信する遠隔会話システムの出力制御装置に搭載されるプログラムであって、
撮像手段で撮像された参加者の画像データ中の口の動きを検出して、発話状態か否かを検出する発話状態検出工程と、
前記発話状態検出工程で発話状態と検出された場合に、音声入力手段で集音される音声データを出力する出力工程と、
前記音声入力工程で集音された音声データを記憶手段に記憶する記憶工程と、
をコンピュータに実行させ、
前記出力工程では、前記発話状態検出工程で発話状態と検出された場合に、前記記憶手段に記憶されている音声データを第１の所定時間分前から出力することを特徴とするコンピュータが実行可能なプログラム。