JP4482330B2 - ビデオ会議時に室内の遠隔にいる人の認識を与えるシステム及び方法 - Google Patents

Description

発明の詳細な説明

情報の背景
１．発明の属する技術分野
本発明は、一般的に、複数の場所にある通信端末を接続することにより通信を確立するためのマルチポイント通信システムに関り、より具体的には、ビデオ会議時に、全ての参加者の存在を、遠隔受信端に中継する方法及びシステムに係る。
２．関連技術の説明
画像圧縮符号化技術及びデジタル通信技術の高度発展により、ビデオ会議への要求は、急増している。ビデオ会議に用いるための様々な端末が提案されている。例えば、ＴＶモニタの上部に取り付けられるパン−チルト−ズーム（ＰＴＺ）カメラは、従来のビデオ会議設定において最も一般的に用いられている。ＰＴＺのオペレータは、話者の近接画像を捕捉するためにカメラのパン、チルト、及びズーム設定を制御し、それにより、受信端における遠隔参加者は、話者の顔が見えるようになる。しかし、従来のビデオ会議システムでは、ビデオ会議時に発言をしない他の参加者は、一度も捕捉されない場合がある。従って、ビデオ会議を見ている遠隔にいる人は、彼らの存在を知ることがないかも知れない。しかし、話者の話を聞き且つ話者とやり取りする他の参加者の存在を認識することが、しばしば、好適である。

従って、ビデオ会議の全ての参加者の存在が、遠隔受信端にいる参加者に中継されることが可能であるようビデオ会議における他の参加者の光景を供給することが必要である。

発明の概要
本発明は、ビデオ会議における全ての参加者の存在を、遠隔受信端における他のビデオ会議端末に供給するシステム及び方法に関する。

本発明の１つの面によると、ビデオ会議における複数の参加者を追跡する方法は、ビデオロケータ出力に基づいて全ての参加者を追跡するよう特定のビデオ会議をモニタリングする段階と、話者を決定するようオーディオロケータ出力を生成する段階と、オーディオロケータ出力とビデオロケータ出力が、互いの特定の範囲内にあるか否かに基づいて、話者にフォーカスするようカメラの設定を調節する段階と、話者が、所定の時間間隔の間、沈黙する場合に、発言していない他の参加者を連続的に表示するようカメラの設定を調節する段階を有する。話者が、閾値の時間間隔よりも長く話し続ける場合に、発言していない他の参加者を連続的に表示するようカメラの設定を調節する。本発明の方法は、更に、ビデオ会議室に入る新しい人又は参加者のうちビデオ会議室を出る人を検出し表示する段階を有する。

本発明に別の面によると、ビデオ会議の複数の参加者を追跡する装置は、カメラと、カメラに接続し、（ｉ）オーディオロケータ出力及び各参加者の場所を示すビデオロケータ出力を処理し、（ｉｉ）参加者のうち話をしている参加者にフォーカスするようカメラの設定を調節し、（ｉｉｉ）話をしている参加者が、閾値の時間間隔の間、沈黙するか否かを検出し、（ｉｖ）検出した沈黙の時間間隔が、閾値の時間間隔を超えた後、発言していない他の参加者を連続的に表示するようカメラの設定を調節するよう動作可能であるプロセッサを有する。プロセッサは、更に、検出した沈黙の時間間隔が、閾値の時間間隔を超えた後、所定量でカメラをズームアウトさせるよう動作可能である。

本発明の上述の及び他の特徴及び利点は、以下に示す、添付図面に説明する好適な実施例の詳細な説明から明らかとなろう。添付図面では、参照文字は、全図面を通して同一の部分を意味する。図面は、必ずしも縮尺が取られているわけではなく、本発明の原理を説明するために強調されている。

本発明の方法及び装置のより完全な理解は、添付図面を参照しながら以下の詳細な説明を参照することにより得られる。

好適な実施例の詳細な説明
以下の説明において、制限ではなく説明のために、本発明の完全な理解を与えるよう特定のアーキテクチャ、インタフェース、技術等のように特定の詳細を説明する。また、単純及び明快さのために、周知の装置、回路、及び方法の詳細な説明は、本発明の説明を、不必要な詳細によって不明瞭にしないよう省略する。

図１は、双方向性伝送を行うよう構成されるデジタル通信線によって互いに接続される複数の端末局を示す略図である。即ち、ビデオ会議端末Ａは、ビデオ会議端末Ｂとビデオ会議端末Ｄに接続する。ビデオ会議端末Ｃは、ビデオ会議端末Ｂとビデオ会議端末Ｄに接続する。例示目的のために、有限数の端末をループ状に接続するが、本発明は、異なる形式のかなり大きい数の端末間での同時ビデオ会議通信をサポート可能であることを理解するものとする。従って、図面に示す端末の数及び接続構成は、本発明の範囲を制限するものではない。

図２は、複数の参加者が、カメラを有するビデオ会議システム１０に接続するモニタ２を介して遠隔にいる人とやり取りをするビデオ会議を示す。本発明に従い動作するカメラは、従来のパン−チルト−ズーム（ＰＴＺ）カメラを有し得る。図３は、本発明の１つの実施例に応じて、モニタ２上に取り付けられるＰＴＺカメラ８を示す。ＰＴＺカメラ８は、ビデオ会議の当業者には周知である。尚、この開示のコンテキストにおけるビデオ会議システム１０は、ラップトップコンピュータ、従来のデスクトップコンピュータ、インタラクティブＴＶ／セットトップボックス遠隔制御器、又は、ビデオ会議の参加者の存在を捕捉するカメラが具備される任意のデュプレックスインタラクティブ装置が包含される。

動作時には、内蔵型カメラ８と関連付けられるソフトウェアを有するシステム１０は、ビデオ会議室における全ての参加者４−１、４−２、４−３、・・・、４−ｎの存在を、遠隔受信端における他の参加者に中継するよう動作する。特に、システム１０は、カメラ８の視野における全ての参加者を、彼らが話をしていないときでも、追跡する。通常モードでは、カメラ８は、会話の流れと参加者の動きに基づいて、参加者を追跡する。適切な時間において、即ち、長い沈黙があるとき又は一人の人が長い時間話すとき、カメラ８は、各参加者を順番に連続的にズームインする。このことは、室内全体の光景、又は、最低でも全ての参加者をフレーム内に収める光景に取って代わられてもよい。その後、カメラ８は、話者、又は、他の新しく話し始めた人にフォーカスを戻す。一方で、新しい人６が部屋に入る、又は、出ていくと、カメラは、その人に、短い時間の間、自動的にズームする。その結果、受信端における遠隔参加者は、送信端において、全ての参加者が、話者に対してどこに居るのかを認識できるようになる。

図４は、本発明の実施例によるシステム１０の主な構成要素を示す。システム１０は、ＰＴＺカメラ８と、オーディオロケータ１２と、ビデオロケータ１４と、制御器１６と、入力／出力（Ｉ／Ｏ）インタフェース１８と、ユーザインタフェース２０と、ビデオプロセッサ２２と、ディスプレイ２４と、メモリ２６を有する。

ＰＴＺカメラ８は、制御器１６に接続し、ビデオ会議の参加者の一人を、リアルタイムで追跡するよう動作する。ＰＴＺカメラ８は、オーディオ信号を受信するためにオーディオロケータ１２に接続し、ビデオ信号を受信するためにビデオロケータ１４に接続する。尚、他の種類及び構成の接続を用いて、カメラ８から制御器１６、又は、組合わされたオーディオ−ビデオ追跡システムを用いて追跡を行うことのできる他のシステムに、ビデオ及びオーディオ信号を供給することも可能である。更に、ＰＴＺカメラ以外の他の画像捕捉装置も、本発明の技術に従い用いることが可能である。

オーディオロケータ１２及びビデオロケータ１４は、それぞれ、オーディオ及びビデオ追跡動作を与える。本発明によるオーディオロケータ１２は、１９９９年１１月８日に出願された米国特許出願番号０９／４３６，１９３に記載されるようなタイプで有り得る。この教示内容は、本願に参考として組込む。簡単に説明すると、オーディオロケータ１２は、話者を区別するよう用いることができる、即ち、エコーキャンセルの副産物として区別するよう用いることができる。尚、本発明を実施するために、他の種類のオーディオロケータを用いることも可能である。ビデオロケータは、ビデオ信号又は他の種類の画像信号において、人又は他の関心の対象物を追跡可能である当該技術において周知である任意の市販されるシステムであり得る。オーディオロケータ１２及びビデオロケータ１４の出力信号は、制御器１６に供給され、次に、カメラ８のパン、チルト、及び／又はズーム設定を制御する１つ以上の制御信号を生成するようプロセッサ２２によって処理される。

Ｉ／Ｏ装置１８は制御器１６に接続し、ケーブルサービスプロバイダ、デジタル高品位テレビジョン（ＨＤＴＶ）及び／又はデジタル標準品位テレビジョン（ＳＤＴＶ）信号、衛星アンテナ、従来のＲＦブロードキャスト、及び、インターネット接続を含む他の様々なソースのみならず、遠隔ビデオ会議端末からビデオ信号のストリームを受信するよう適応される。ユーザインタフェース２０は、ユーザからシステム１０を制御するためのコマンド信号、即ち、赤外線信号を受信するよう制御器１６に接続する。ディスプレイ２４は、プロセッサ２２に接続し、他のビデオ会議端末からのオーディオ及びビデオ信号を視聴するために受信する。

本発明の別の実施例では、図４に示すシステム１０の素子によって行われる幾つか又は全ての機能は、１つの装置に組合わされる場合もある。例えば、システム１０の１つ以上の素子は、コンピュータ、テレビジョン、セットトップボックス、又は、他の処理装置内に組込まれる特定用途向け集積回路（ＡＳＩＣ）又は回路カードとして実施され得る。

本発明の選択される実施例は、システム１０内で実行されるコンピュータソフトウェアである。コンピュータプログラム（又はコンピュータ制御論理）は、メモリ２６内に格納される。このようなコンピュータプログラムは、実行されると、システム１０が、ここに説明した本発明の機能を実行することを可能にする。

図５は、ビデオシステム１０のソフトウェア実施例の動作を示す。オーディオロケータ１２及びビデオロケータ１４を有するビデオシステム１０が、所与のビデオ会議時にアクティブであると仮定する。段階１００において、システム１０は、カメラ８のパン、チルト、及び／又はズーム設定を用いて全ての参加者を追跡する。オーディオロケータ１２及びビデオロケータ１４は共に、参加者の存在に対応する追跡出力を生成するよう動作する。追跡出力は、即ち、カメラ８の中心軸から検知される参加者への方向を示す角度での方向性の測度の形であり得る。

段階１２０において、オーディオロケータ１２とビデオロケータ１４からの追跡出力は、室内で話をしている人に関連付けられる場所の示唆を有するよう分析される。このために、システム１０は、ビデオロケータ追跡出力に十分に適合するオーディオロケータ追跡出力を参照する。例えば、オーディオロケータ１２及びビデオロケータ１４からの方向性測度が、互いの特定の範囲、即ち、４−５度内にある場合、このことは、オーディオロケータ１２とビデオロケータ１４は、現在の話者の場所に関して十分に一致していることが示される。話者が検知されると、制御器１６は、カメラ８を、話をしている人の方向にズームするように案内する制御信号を生成する。一人以上の人が話をしている場合、オーディオロケータ１２は、最も声の大きい人の位置を突き止めることが可能である。前出の米国特許出願番号０９／４３６，１９３に記載されるオーディオロケータ１２は、最も声の大きい人の位置を突き止めるメカニズムを説明するので、更に説明する必要はない。

段階１４０において、現在の話者が、閾値の時間間隔より長く話すか否かが判断される。長く話さない場合は、段階１６０において、現在の話者が、所定の時間間隔より沈黙するか否かが判断される。現在の話者が、所定の閾値より長く話す、又は、発言しない場合、システム１０は、段階１８０において、残りの参加者の近接画像を連続的に表示する。このことを達成するためには、カメラ設定は、他の参加者の方向に向けてカメラ８のパン、チルト、及びズーム設定を制御するようビデオロケータ出力に基づいて調節され得る。その後、段階２００において、システム１０は、参加者全員を映すグループ光景を与えるよう特定の度合いまでズームアウトするようカメラ８を案内する制御信号を生成する。その後に、システム１０は、話者、又は、話し始めた他の人に再びフォーカスするようカメラ８を案内する制御信号を生成し得る。

一方で、ビデオロケータ１４は、動き又は顔色等の特徴に基づいた周知の従来技術を用いて、部屋に入る新しい人又は部屋を離れる参加者の一人を見つけようと連続的に試み、それにより、部屋に入ってくる又は出ていく人の存在又は不在が、受信端における遠隔参加者に伝えられる。

本発明の好適な実施例を図示し且つ説明したが、当業者は、様々な変更及び修正が可能であり、本発明の真の範囲から逸脱することなく本発明の実施例の素子を等価物で代用し得ることを理解するものとする。更に、中心的な範囲から逸脱することなく本発明の特定の状況及び教示内用に適応するよう多くの修正を行い得る。従って、本発明は、本発明を実行するのに考えられる最適な様態として開示した特定の実施例に制限されるものではなく、本発明は、特許請求の範囲内の全ての実施例を包含するものであることを意図する。

本発明の１つの実施例によるマルチポイント会議システムを示す図である。 本発明の実施例を適用し得るビデオ会議室を示す略図である。 本発明の１つの実施例によるビデオ会議システムを示す図である。 本発明の１つの実施例によるビデオ会議システムの主な構成要素を示す簡略化したブロック図である。 本発明の１つの実施例による動作段階を説明するフローチャートである。

Claims (10)

1. ビデオ会議室の複数の参加者を追跡する方法であって：
   前記複数の参加者をカメラでモニタする段階；
   ビデオ入力に基づいて、前記ビデオ会議室内の前記複数の参加者の各々の場所を表すビデオロケータ出力を生成するように、ビデオロケータを用いる段階；
   オーディオ入力に基づいて、前記ビデオ会議室内で話している前記複数の参加者のひとりの位置を決定するようにオーディオロケータ出力を生成するようにオーディオロケータを用いる段階；
   前記ビデオロケータ出力により表された前記場所及び前記オーディオロケータ出力により表された前記場所が互いに特定の範囲内にある場合に、話している前記複数の参加者の前記ひとりの方向に前記カメラをズーミングする及び／又はパンする及び／又はチルトする段階；
   前記ひとりが、所定の時間間隔の間、話している又は黙っていることが、前記オーディオロケータ出力において検出された場合に、話していない他の参加者を連続的に表示するようにカメラのズーミング及び／又はパニング及び／又はチルティングの設定を調節する段階；並びに
   前記ビデオ会議室に入ってくる新しいひとを表示するように前記カメラの設定を調節するように、ビデオ出力に基づいて、前記新しいひとの場所を表すビデオロケータ出力を生成するようにビデオロケータを用いる段階、若しくは、前記ビデオ会議室から出ていくひとを表示するように前記カメラの設定を調節するように、ビデオ入力に基づいて、前記出ていくひとの場所を表すビデオロケータ出力を生成するようにビデオロケータを用いる段階；
   を有する方法。
2. 前記カメラは、パン−チルト−ズーム（ＰＴＺ）カメラである、請求項１記載の方法。
3. 前記話しているひとりが閾値の時間間隔より長く話し続けている場合、前記話していない他の参加者を連続して表示するように前記カメラの設定が調節される、請求項１記載の方法。
4. 前記カメラの設定の前記調節は、全ての参加者を表示するように前記カメラの設定を調節するように更に動作可能である、請求項１記載の方法。
5. ビデオ会議室の複数の参加者を追跡する装置であって：
   前記複数の参加者をモニタするカメラ；
   ビデオ入力に基づいて、前記ビデオ会議室内の前記複数の参加者の各々の場所を表すビデオロケータ出力を生成するビデオロケータ；
   オーディオ入力に基づいて、前記ビデオ会議室内で話している前記複数の参加者のひとりの位置を決定するようにオーディオロケータ出力を生成するオーディオロケータ；並びに
   前記ビデオロケータ出力により表された前記場所及び前記オーディオロケータ出力により表された前記場所が互いに特定の範囲内にある場合に、話している前記複数の参加者の前記ひとりの方向に前記カメラをズーミング及び／又はパン及び／又はチルトし、
   前記ひとりが、所定の時間間隔の間、話している又は黙っていることが、前記オーディオロケータ出力において検出された場合に、話していない他の参加者を連続的に表示するようにカメラのズーミング及び／又はパニング及び／又はチルティングの設定を調節し、
   前記ビデオ会議室に入ってくる新しいひとを表示するように前記カメラの設定を調節するように、ビデオ出力に基づいて、前記新しいひとの場所を表すビデオロケータ出力を生成するようにビデオロケータを用いる、若しくは、前記ビデオ会議室から出ていくひとを表示するように前記カメラの設定を調節するように、ビデオ入力に基づいて、前記出ていくひとの場所を表すビデオロケータ出力を生成するようにビデオロケータを用いる、
   ように動作可能である、前記カメラに結合されているプロセッサ；
   を有する装置。
6. 前記プロセッサは、前記検出した、黙っている時間間隔が前記閾値の時間間隔を上回った後、所定時間間隔だけ前記カメラをズームアウトするように更に動作可能である、請求項５記載の装置。
7. 前記カメラは、前記検出した、黙っている時間間隔が前記閾値の時間間隔を上回った後、全ての参加者を表示するように前記カメラの設定を調節するように更に動作可能である、請求項５記載の装置。
8. 前記カメラは、パン−チルト−ズーム（ＰＴＺ）カメラである、請求項５記載の装置。
9. 前記プロセッサは、前記話しているひとりが前記閾値の時間間隔より長く話し続けている場合、所定の時間間隔だけ前記カメラをズームアウトさせるように更に動作可能である、請求項５記載の装置。
10. 前記プロセッサは、前記話しているひとりが前記閾値の時間間隔より長く話し続けている場合、全ての参加者を表示するように前記カメラの設定を調節するように更に動作可能である、請求項５記載の装置。

Images