JP6701887B2 - 情報処理システム、情報処理方法およびプログラム - Google Patents

Description

本発明は、情報処理システム、情報処理方法およびプログラムに関する。

近年、ブロードバンドやクラウド環境の普及、および、情報通信技術の発達に伴うコミュニケーションツールの発達により、場所や時間に制約されないワーキングスタイル（働き方）が広がりつつある。これにより、集団での協働（ｃｏｌｌａｂｏｒａｔｉｏｎ）作業の主な形態も、一般的な一極集中・同一空間型から、遠隔分散協働型へ移り変わっていくことが予測される。この実現のために、音声通話、ＦＡＸ、電子メール、インスタントメッセンジャー、およびＶｏＩＰなどを統合したユニファイドコミュニケーション（登録商標）技術・システムが注目を集めている。

ユニファイドコミュニケーションシステムが伝達するリッチな情報としては、映像や音情報が重要な位置を占める。例えば、従来のＴＶ会議システムを基礎とするツールが多くのユニファイドコミュニケーションシステムの一機能として搭載される。

ところで、いわゆるＴＶ会議システムは、議題が決まった上での話し合いなど、意図的、かつ、正式・公式的なフォーマル・コミュニケーションを主に想定したコミュニケーションツールである。これに対し、近年、チームでの協働作業を円滑に進めるためには組織の一体感や人間関係の醸成が重要であること、また、組織の一体感や人間関係の醸成を高めるためには非計画的で偶然性を持ったインフォーマル・コミュニケーションが大切であることが指摘されている。

このようなインフォーマル・コミュニケーションを支援するためのユニファイドコミュニケーションシステムのツールとしては、ＴＶ会議のように「誰が何時から何時までＡ会議室で」というような計画的な形態ではなく、非計画的なオフィスの日常風景を共有すること、すなわち、オフィス内の環境的な映像と音情報を常に遠隔オフィス間で相互通信、提示しあうシステムが考えられる。

当該システムにおいては、各ユーザが有するユーザ端末を用いて、遠隔するオフィス間で個別の会話を実現することも可能である。特許文献１には、遠隔するユーザ間での会話を実現するシステムが開示されている。具合的には、特許文献１には、カメラ端末により得られた映像をモニタ付端末に表示させ、表示されている映像の人物または領域が指定されると、指定された人物または領域に予め関連付けられている電話番号に対応する電話機に発呼するシステムが開示されている。

特開２００７−２０８８６３号公報

しかし、複数のユーザの間で通信端末を用いた会話が進行している時に他のユーザが当該会話に参入するための仕組みは十分に検討がなされていなかった。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、端末を用いて複数のユーザ間で進行している会話に、対面での会話に参入するような感覚で、会話中のユーザと同室の他のユーザが参入するための、新規かつ改良された情報処理システム、情報処理方法およびプログラムを提供することにある。

上記課題を解決するために、本発明のある観点によれば、第１の通信端末および第２の通信端末を用いて行われる第１のユーザと第２のユーザとの会話へ参入する参入ユーザを検出する参入検出部と、前記参入ユーザの位置に応じて、前記参入ユーザに関するセンシングデータの取得を制御する制御部と、前記制御部による制御に基づいて取得されたセンシングデータを、前記第１の通信端末を利用する前記第１のユーザに向けて送信するセンシングデータ送信部と、を備え、前記参入検出部は、前記第２の通信端末の周囲に存在する２以上のユーザのうち、前記第２の通信端末に２番目以降に近いユーザを前記参入ユーザとして検出する、情報処理システムが提供される。また、別の観点によれば、第１の通信端末および第２の通信端末を用いて行われる第１のユーザと第２のユーザとの会話へ参入する参入ユーザを検出する参入検出部と、前記参入ユーザの位置に応じて、前記参入ユーザに関するセンシングデータの取得を制御する制御部と、前記制御部による制御に基づいて取得されたセンシングデータを、前記第１の通信端末を利用する前記第１のユーザに向けて送信するセンシングデータ送信部と、を備え、前記参入検出部は、前記第２の通信端末に接近し、前記第２の通信端末の周囲に留まったユーザから、前記参入ユーザを検出する、情報処理システムが提供される。

前記参入検出部は、前記第２の通信端末の周囲に存在する２以上のユーザのうち、前記第２の通信端末に２番目以降に近いユーザを前記参入ユーザとして検出してもよい。

前記参入検出部は、前記第２の通信端末に接近し、前記第２の通信端末の周囲に留まったユーザから、前記参入ユーザを検出してもよい。

また、上記課題を解決するために、本発明の別の観点によれば、第１の通信端末および第２の通信端末を用いて行われる第１のユーザと第２のユーザとの会話へ参入する参入ユーザを検出する参入検出部と、前記参入ユーザの位置に応じて、前記参入ユーザに関するセンシングデータの取得を制御する制御部と、前記制御部による制御に基づいて取得されたセンシングデータを、前記第１の通信端末を利用する前記第１のユーザに向けて送信するセンシングデータ送信部と、を備え、前記参入検出部は、前記第２のユーザを含む撮像画像から解析される前記第２のユーザの視線が他のユーザに向いたこと、および、前記他のユーザを含む撮像画像から解析される前記他のユーザの視線が前記第２のユーザに向いたことに基づいて、前記他のユーザを前記参入ユーザとして検出する、情報処理システムが提供される。

前記センシングデータは音声データを含み、前記制御部は、複数の収音部のうちで、前記参入検出部により検出された前記参入ユーザに最も近接する収音部により得られた音声データを、前記参入ユーザに関するセンシングデータとして取得してもよい。

前記センシングデータは音声データを含み、前記制御部は、複数の収音部のうちで、前記参入検出部により検出された前記参入ユーザを含むエリアの音声データを取得する収音システムにより得られた音声データを、前記参入ユーザに関するセンシングデータとして取得してもよい。

前記センシングデータは音声データを含み、前記制御部は、前記参入ユーザに関するセンシングデータの取得を制御することとして、収音部による収音対象の方向を前記参入検出部により検出された前記参入ユーザに向ける制御を行なってもよい。

前記センシングデータは映像データを含み、前記制御部は、複数の撮像部のうちで、前記参入検出部により検出された前記参入ユーザの位置に応じて１の撮像部を選択し、当該１の撮像部により得られた映像データを、前記参入ユーザに関するセンシングデータとして取得してもよい。

前記センシングデータは映像データを含み、前記制御部は、撮像部により得られた映像データから前記参入ユーザを含む領域のデータを、前記参入ユーザに関するセンシングデータとして取得してもよい。

前記センシングデータ送信部は、前記センシングデータを前記第１の通信端末に送信してもよい。

また、上記課題を解決するために、本発明の別の観点によれば、第１の通信端末および第２の通信端末を用いて行われる第１のユーザと第２のユーザとの会話へ参入する参入ユーザを検出する参入検出部と、前記参入ユーザの位置に応じて、前記参入ユーザに関するセンシングデータの取得を制御する制御部と、前記制御部による制御に基づいて取得されたセンシングデータを、前記第１の通信端末を利用する前記第１のユーザに向けて送信するセンシングデータ送信部と、前記参入ユーザの周囲に位置する出力装置を特定する特定部と、前記特定部により特定された出力装置の識別情報を前記第１の通信端末に送信する識別情報送信部と、を備え、前記第１の通信端末は、前記第１の通信端末が取得したセンシングデータを、前記識別情報により示される出力装置に送信し、前記第１の通信端末から前記センシングデータを受信した出力装置は、当該センシングデータを出力する、情報処理システムが提供される。

前記特定部は、前記出力装置に対応するゲートウェイをさらに特定し、前記識別情報送信部は、前記ゲートウェイの識別情報を前記第１の通信端末にさらに送信し、前記第１の通信端末は、前記出力装置宛てのセンシングデータを前記ゲートウェイに送信し、前記ゲートウェイは、前記第１の通信端末から受信したセンシングデータの方式を変換し、方式が変換されたセンシングデータを前記出力装置に送信してもよい。

また、上記課題を解決するために、本発明の別の観点によれば、第１の通信端末および第２の通信端末を用いて行われる第１のユーザと第２のユーザとの会話へ参入する参入ユーザとして、前記第２の通信端末の周囲に存在する２以上のユーザのうち、前記第２の通信端末に２番目以降に近いユーザを検出することと、前記参入ユーザの位置に応じて、前記参入ユーザに関するセンシングデータの取得を制御することと、前記センシングデータを、前記第１の通信端末を利用する前記第１のユーザに向けて送信することと、を含む、情報処理方法が提供される。また、別の観点によれば、第１の通信端末および第２の通信端末を用いて行われる第１のユーザと第２のユーザとの会話へ参入する参入ユーザを、前記第２の通信端末に接近し、前記第２の通信端末の周囲に留まったユーザから検出することと、前記参入ユーザの位置に応じて、前記参入ユーザに関するセンシングデータの取得を制御することと、前記センシングデータを、前記第１の通信端末を利用する前記第１のユーザに向けて送信することと、を含む、情報処理方法が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、第１の通信端末および第２の通信端末を用いて行われる第１のユーザと第２のユーザとの会話へ参入する参入ユーザとして、前記第２の通信端末の周囲に存在する２以上のユーザのうち、前記第２の通信端末に２番目以降に近いユーザを検出する参入検出部と、前記参入ユーザの位置に応じて、前記参入ユーザに関するセンシングデータの取得を制御する制御部と、前記センシングデータを、前記第１の通信端末を利用する前記第１のユーザに向けて送信するセンシングデータ送信部と、として機能させるための、プログラムが提供される。また、別の観点によれば、コンピュータを、第１の通信端末および第２の通信端末を用いて行われる第１のユーザと第２のユーザとの会話へ参入する参入ユーザを、前記第２の通信端末に接近し、前記第２の通信端末の周囲に留まったユーザから検出する参入検出部と、前記参入ユーザの位置に応じて、前記参入ユーザに関するセンシングデータの取得を制御する制御部と、前記センシングデータを、前記第１の通信端末を利用する前記第１のユーザに向けて送信するセンシングデータ送信部と、として機能させるための、プログラムが提供される。

以上説明したように本発明によれば、端末を用いて複数のユーザ間で進行している会話に、対面での会話に参入するような感覚で、会話中のユーザと同室の他のユーザが参入することが可能である。

第１の実施形態による情報処理システムを示す説明図である。 各装置の配置の具体例を示す説明図である。 第１の実施形態による配信制御装置の構成を示す説明図である。 会話への参入の具体例を示す説明図である。 第１の実施形態による情報処理システムの動作を示す説明図である。 応用例による動作を示す説明図である。 第２の実施形態による情報処理システムを示す説明図である。 第２の実施形態による配信制御装置の構成を示す説明図である。 第２の実施形態による情報処理システムの動作を示す説明図である。 配信制御装置のハードウェア構成を示したブロック図である。

以下に添付図面を参照しながら、本発明の実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。例えば、実質的に同一の機能構成または論理的意義を有する複数の構成を、必要に応じてユーザ端末３０Ａ、３０Ｂおよび３０Ｃのように区別する。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。例えば、ユーザ端末３０Ａ、３０Ｂおよび３０Ｃを特に区別する必要が無い場合には、単にユーザ端末３０と称する。

＜＜１．第１の実施形態＞＞
本発明の第１の実施形態は、複数の拠点間で映像および音声を共有するための情報処理システムに関する。まず、図１および図２を参照して本発明の第１の実施形態による情報処理システムの概要を説明した後に、第１の実施形態の構成および動作を順次詳細に説明する。

＜１−１．情報処理システムの概要＞
図１は、第１の実施形態による情報処理システムを示す説明図である。図１に示したように、第１の実施形態による情報処理システムは、配信制御装置２０と、第１拠点に存在する複数のユーザ端末３０、複数の収音装置４０および複数の撮像装置５０と、第２拠点に存在する複数のユーザ端末３０、複数の収音装置４０および複数の撮像装置５０と、を備える。第１拠点に存在する各装置および第２拠点に存在する各装置は、ネットワーク１２を介して配信制御装置２０と接続されている。

ユーザ端末３０は、映像データおよび音声データの処理に関する機能を有する。例えば、ユーザ端末３０は、ユーザ端末３０を利用するユーザの映像データを取得する撮像機能、ユーザ端末３０を利用するユーザの音声データを取得する収音機能を有する。また、ユーザ端末３０は、配信制御装置２０から配信される、他の拠点の映像データおよび音声データを出力する出力装置としての機能も有する。

収音装置（収音部）４０は、空気的な振動である音声を、電気的な信号である音声データに変換する。なお、本明細書においては、音声という語を、人間が発話した音声に加え、環境音を含む概念として扱う。環境音としては、ドアの開け閉めの音、椅子を動かす音、電話の呼び鈴、キータッチ音および足音などが挙げられる。

撮像装置（撮像部）５０は、撮像範囲からの集光に基づいて撮像面に形成された像を、電気的な信号である映像データに変換する。本実施形態において、当該撮像装置５０は、各拠点の天井などユーザの頭上に設けられることが想定される。このため、撮像装置５０は、俯瞰的な映像データを得ることが可能である。

配信制御装置２０は、各拠点の収音装置４０から音声データを受信し、各拠点の撮像装置５０から映像データを受信する。そして、配信制御装置２０は、ユーザ端末３０への映像データおよび音声データの配信を制御する。

具体的には、配信制御装置２０は、一方の拠点のユーザからの映像データおよび音声データの共有の要求に基づき、当該ユーザが利用するユーザ端末３０に、他方の拠点の映像データおよび音声データを配信する。上述したように、映像データは俯瞰的な映像データであり、音声データは人間の発話によるデータに加え、環境音データを含む。このため、例えば第１拠点に存在するユーザは、第１拠点と遠隔する第２拠点の日常風景、会話および環境音を、第２拠点に自分が存在するかの如く感じることができる。

また、配信制御装置２０は、異なる拠点に存在するユーザ間の会話を、映像データおよび音声データの配信により実現する。例えば、配信制御装置２０は、一方の拠点のユーザからの会話の要求に基づき、当該ユーザが利用するユーザ端末３０から受信される音声データおよび映像データを他方の拠点のユーザ端末３０に配信し、当該他方の拠点のユーザ端末３０から受信される音声データおよび映像データを会話の要求元のユーザ端末３０に配信する。かかる構成により、第１拠点に存在するユーザと第２拠点に存在するユーザが、互いの映像および音声を確認しながら会話することが可能となる。

ここで、図２を参照し、拠点における各装置の配置の具体例を説明する。図２は、第２拠点における各装置の配置の具体例を示す説明図である。図２に示した例では、第２拠点に、ユーザ端末３０Ａ〜３０Ｄ、収音装置４０Ａおよび４０Ｂ、撮像装置５０Ａおよび５０Ｂが設置されており、ユーザＵ１〜Ｕ３が存在する。

例えば、第１拠点のユーザが、映像データおよび音声データの共有の要求として、撮像装置５０Ｂ付近の位置を選択すると、配信制御装置２０は、選択された位置に近い撮像装置５０Ｂおよび収音装置４０Ｂを抽出する。そして、配信制御装置２０は、撮像装置５０Ｂにより得られた映像データおよび収音装置４０Ｂにより得られた音声データを第１拠点のユーザのユーザ端末３０に配信する。第１拠点のユーザ端末は、配信制御装置２０から配信された映像データおよび音声データを出力する。この場合、第１拠点のユーザは、第２拠点の撮像装置５０Ｂ付近の位置に自分がいるかのように第２拠点の日常風景、会話および環境音を感じることができる。

また、第１拠点のユーザ（第１のユーザ）が、撮像装置５０Ｂにより得られた俯瞰的な映像データに含まれるユーザＵ１を選択すると、配信制御装置２０は、第１拠点のユーザと第２拠点のユーザＵ１（第２のユーザ）との会話を映像データおよび音声データの配信により実現してもよい。例えば、配信制御装置２０は、第２拠点のユーザＵ１が利用するユーザ端末３０Ａ（第２の通信端末）から受信された映像データおよび音声データを、第１拠点のユーザが利用するユーザ端末３０（第１の通信端末）に配信する。また、配信制御装置２０は、第１拠点のユーザが利用するユーザ端末３０から受信した映像データおよび音声データを、第２拠点のユーザＵ１が利用するユーザ端末３０Ａに配信する。これにより、第１拠点のユーザと第２拠点のユーザＵ１との会話が実現される。

なお、図２においてはユーザ端末３０の一例としてノート型のＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）を示しているが、ユーザ端末３０はノート型のＰＣに限定されない。例えば、ユーザ端末３０は、デスクトップ型のＰＣ、または携帯端末などの通信端末であってもよい。

＜１−２．背景＞
複数のユーザが対面して会話をしている時、他のユーザが当該会話の内容に興味を持ち、他のユーザが当該会話に参入することがある。上述した情報処理システムにおいて、異なる拠点に存在するユーザが行っている会話にも同様に、他のユーザが参入できることが望まれる。

上記の異なる拠点間で進行している会話への参入は、あるユーザが、会話中のユーザにユーザ端末を持って近づき、当該ユーザ端末にて他の拠点のユーザを選択する方法により、実現され得る。しかし、当該方法は、対面での会話への参入には求められないユーザ端末の持ち運びおよびユーザ端末の操作を伴うので、対面での会話に参入するような気軽な感覚を実現することが困難である。

または、あるユーザが、会話中のユーザが利用するユーザ端末を共有することでも、会話への参入を実現し得る。しかし、当該方法の実現のためには、ユーザ端末の収音範囲および撮像範囲を、１人のユーザのための収音範囲および撮像範囲よりも広くしておく必要がある。そのため、他の拠点のユーザに過多な範囲の音声データおよび映像データが配信され、円滑な会話が阻害されてしまうことが懸念される。

そこで、本件発明者は、上記事情を一着眼点にして本発明の実施形態を創作するに至った。本発明の実施形態によれば、ユーザ端末３０を用いた円滑な会話を実現しつつ、対面での会話に参入するような感覚で他のユーザが会話に参入することが可能である。以下、このような本発明の実施形態による構成および動作を順次詳細に説明する。

＜１−３．配信制御装置の構成＞
図３は、第１の実施形態による配信制御装置２０の構成を示す説明図である。図３に示したように、第１の実施形態による配信制御装置２０は、通信部２２０と、参入検出部２３０と、配信制御部２４０と、を備える。

（通信部）
通信部２２０は、ユーザ端末３０、収音装置４０および撮像装置５０とインタフェースである。例えば、通信部２２０は、収音装置４０から音声データを受信し、撮像装置５０から映像データを受信する。また、通信部２２０は、配信制御部２４０からの制御に従って音声データおよび映像データなどのセンシングデータをユーザ端末３０に配信（送信）するセンシングデータ送信部としての機能を有する。

（参入検出部）
参入検出部２３０は、ユーザ端末３０を用いて複数のユーザにより異なる拠点間で行われている会話へ参入する参入ユーザを検出し、参入ユーザの位置情報を配信制御部２４０に出力する。以下、参入ユーザを検出するための幾つかの方法を説明する。なお、以下に説明する各方法は、単独で適用されてもよいし、組み合わせで適用されてもよい。

−第１の検出方法
進行中の会話に用いられているユーザ端末３０の最も近くに位置するユーザは、当該ユーザ端末３０を用いて既に会話を進行していたユーザであると考えられる。また、参入ユーザは、会話中のユーザの近くに移動することが予想される。

そこで、参入検出部２３０は、進行中の会話に用いられているユーザ端末３０の周囲のユーザの位置分布に基づいて参入ユーザを検出してもよい。具体的には、参入検出部２３０は、ユーザ端末３０から所定範囲内に存在するユーザのうちで、進行中の会話に用いられているユーザ端末３０に２番目以降に近いユーザを参入ユーザとして検出してもよい。

例えば、図４に示したように、ユーザＵ１がユーザ端末３０Ａを用いて第１拠点のユーザと会話をしており、当該ユーザ端末３０Ａから一点鎖線で示される所定範囲内にユーザＵ３が位置する場合、参入検出部２３０は、ユーザ端末３０Ａから２番目に近いユーザＵ３を参入ユーザとして検出する。

なお、距離画像センサがユーザ端末３０またはユーザ端末３０の近傍に設けられる場合、参入検出部２３０は、ユーザ端末３０から送信される距離画像の解析により、ユーザ端末３０の周囲のユーザの位置分布を特定することが可能である。

また、３つ以上の収音部がユーザ端末３０またはユーザ端末３０の近傍に設けられる場、参入検出部２３０は、ユーザ端末３０から送信される各収音部により取得された音声データに基づき、三角測量技術を用いて、各発話ユーザのユーザ端末３０に対する位置分布を特定することが可能である。

また、ユーザが電波を発する媒体（例えば、ＷｉＦｉ電波を発するＩＣを内蔵する社員証カード）を携帯する場合、参入検出部２３０は、媒体から発せられた電波の複数個所での受信強度に基づいて、各ユーザの位置情報を推定することが可能である。なお、ユーザ端末３０は固定されることが想定される場合、参入検出部２３０は、各ユーザ端末３０の位置情報を保持しておき、当該ユーザ端末３０の位置情報と、各ユーザの位置情報から、ユーザ端末３０の周囲のユーザの位置分布を特定してもよい。一方、ユーザ端末３０が移動することが想定される場合、参入検出部２３０は、ユーザの位置推定と同様に、ユーザ端末３０から発せられた電波の複数個所での受信強度に基づいて、ユーザ端末３０の位置を推定してもよい。

−第２の検出方法
会話中のユーザの近くに存在するユーザであっても、会話に参入しようとしているユーザでないことも考えられる。例えば、参入ユーザでないユーザが、会話中のユーザの隣の席にいることや、会話中のユーザの近くを通り過ぎることもある。一方、参入ユーザは、会話中のユーザと会話がし易くなるように会話中のユーザに接近し、会話が終わるまで会話中のユーザの近くに留まり得る。

そこで、参入検出部２３０は、会話に利用されているユーザ端末３０に接近し、当該ユーザ端末３０の周囲に所定時間に渡って留まったユーザから、参入ユーザを検出してもよい。例えば、参入検出部２３０は、上述したユーザの位置分布の特定履歴から、ユーザの接近、およびユーザがユーザ端末３０の周囲に所定時間に渡って留まったことを検出してもよい。かかる第２の検出方法によれば、より高精度に参入ユーザを検出することが可能である。

−第３の検出方法
会話は、複数のユーザが互いに視線を向けながら行われることが一般的である。このため、会話中のユーザが視線を向けた相手であって、会話中のユーザに視線を向けた相手は、参入ユーザである蓋然性が高い。

そこで、参入検出部２３０は、会話中のユーザの視線が他のユーザに向いたこと、および、他のユーザの視線が会話中のユーザに向いたことに基づき、当該他のユーザを参入ユーザとして検出してもよい。なお、各ユーザの視線は、会話に用いられているユーザ端末３０から送信される映像データ、または撮像装置５０から送信される他のユーザを含む俯瞰的な映像データの解析（例えば、他のユーザの顔の向きの解析）により特定可能である。かかる第３の検出方法によっても、参入ユーザの検出精度を向上することが可能である。

−第４の検出方法
会話は、同一の議題について行われることが一般的である。このため、会話を行う複数のユーザは、同一または類似するキーワードを発する可能性が有る。

そこで、配信制御装置２０は、会話に利用されているユーザ端末３０から送信される音声データ、または収音装置４０から送信される音声データを認識し、参入検出部２３０は、会話中のユーザが発したキーワードと同一または類似するキーワードを発したユーザを参入ユーザとして検出してもよい。

−第５の検出方法
会話は、複数のユーザが入れ替わりで発話することで成立する。このため、会話中のユーザが発話している間に発話せず、会話中のユーザが発話していない間に発話しているユーザは、参入ユーザである可能性がある。

そこで、参入検出部２３０は、会話中のユーザが発話している間に発話せず、会話中のユーザが発話していない間に発話しているユーザを、参入ユーザとして検出してもよい。なお、参入検出部２３０は、周波数特性または音源位置に基づいて音声データから複数のユーザの音声を区別してもよい。当該第５の検出方法は、第４の検出方法と比較して、音声認識処理を省略できる点で有利である。

（配信制御部）
配信制御部２４０は、参入検出部２３０により検出された参入ユーザの位置に応じて、参入ユーザに関する音声データおよび映像データの取得を制御し、参入ユーザに関する音声データおよび映像データを、他の拠点側のユーザに向けて通信部２２０から配信する。以下、参入ユーザに関する音声データおよび映像データの取得を制御するための幾つかの方法を説明する。

−音声データの取得制御
配信制御部２４０は、参入検出部２３０により検出された参入ユーザに最も近接する収音装置４０またはユーザ端末３０（会話に利用されているユーザ端末３０が含まれてもよい。）から送信される音声データを、参入ユーザに関する音声データとして取得してもよい。なお、参入ユーザの位置が、会話に利用されているユーザ端末３０からの相対位置として特定されている場合、配信制御部２４０は、会話に利用されているユーザ端末３０の位置と上記ユーザ端末３０からの相対位置を用いて、参入ユーザの拠点内での位置を特定してもよい。また、参入検出部２３０により検出された参入ユーザに最も近接する収音装置４０またはユーザ端末３０が起動していない場合、配信制御部２４０は、当該収音装置４０またはユーザ端末３０への起動指示信号を出力してもよい。

または、複数の収音装置４０により、指定された収音エリアの音声を収集する収音システムが実現されている場合、配信制御部２４０は、複数の収音装置４０に対して参入ユーザを含むエリアを収音エリアとして指定し、当該収音エリアからの音声を参入ユーザに関する音声データとして取得してもよい。

または、配信制御部２４０は、収音範囲に参入ユーザが含まれるように収音装置４０による収音角度を指定し、当該収音装置４０から送信される音声データを、参入ユーザに関する音声データとして取得してもよい。

または、配信制御部２４０は、会話に利用されているユーザ端末３０のハンズフリーモードのＯＮ／ＯＦＦを切替えることにより、参入ユーザに関する音声データの取得を制御してもよい。例えば、会話に利用されているユーザ端末３０のハンズフリーモードがＯＮになることにより、会話に利用されているユーザ端末３０の収音範囲が広がり、参入ユーザに関する音声データが取得され得る。

−映像データの取得制御
配信制御部２４０は、参入検出部２３０により検出された参入ユーザを撮像範囲に含む撮像装置５０またはユーザ端末３０（会話に利用されているユーザ端末３０が含まれてもよい。）を選択し、当該撮像装置５０またはユーザ端末３０から送信される映像データを、参入ユーザに関する映像データとして取得してもよい。

または、配信制御部２４０は、撮像装置５０から送信される映像データから、参入ユーザを含む領域のデータを切りだすことにより、参入ユーザに関する映像データを取得してもよい。特に、撮像装置５０が魚眼レンズのように撮像範囲が広域に渡る装置である場合、当該手法は有効である。

＜１−４．動作＞
以上、第１の実施形態による配信制御装置２０の構成を説明した。続いて、図５を参照し、第１の実施形態による情報処理システムの動作を整理する。

図５は、第１の実施形態による情報処理システムの動作を示す説明図である。当該情報処理システムにおいては、第２拠点の複数の収音装置４０が音声データを配信制御装置２０に継続的に送信し（Ｓ３１０）、第２拠点の複数の撮像装置５０が映像データを配信制御装置２０に継続的に送信する（Ｓ３２０）。なお、第１拠点の複数の収音装置４０も音声データを送信し、第１拠点の複数の撮像装置５０も映像データを継続的に送信する。

その後、第１拠点のユーザ端末３０と第２拠点のユーザ端末３０が通話状態になると、第１の拠点のユーザ端末３０が配信制御装置２０に通話状態がＯＮであることを示す情報および端末ＩＤを送信し（Ｓ３２４）、同様に、第２の拠点のユーザ端末３０も、配信制御装置２０に通話状態がＯＮであることを示す情報および端末ＩＤを送信する（Ｓ３２８）。続いて、第１拠点のユーザ端末３０と第２拠点のユーザ端末３０との間での映像データおよび音声データの相互配信が開始される（Ｓ３３２、Ｓ３３６）。そして、第１拠点のユーザ端末３０および第２拠点のユーザ端末３０は、配信される映像データおよび音声データの出力を開始する（Ｓ３４０、Ｓ３４４）。これにより、第１拠点のユーザと第２拠点のユーザによる会話が進められる。

第１拠点のユーザと第２拠点のユーザの会話中に、配信制御装置２０の参入検出部２３０が第２拠点で当該会話に参入しようとする参入ユーザを検出すると（Ｓ３４８）、配信制御部２４０が、当該参入ユーザに関する映像データおよび音声データを配信用データとして取得する（Ｓ３５２）。

次に、配信制御装置２０は、会話に利用されている第１拠点のユーザ端末３０に、参入ユーザに関する映像データおよび音声データの配信を開始する（Ｓ３５６）。そして、第１拠点のユーザ端末３０は、配信される映像データおよび音声データの出力を開始する（Ｓ３６０）。

かかる構成により、参入ユーザがユーザ端末３０の持ち運びおよびユーザ端末３０の操作を行うことなく、第１拠点のユーザに参入ユーザの映像データおよび音声データが配信される。このため、異なる拠点間で進行している会話に、対面での会話に参入するような気軽な感覚で、会話中のユーザと同室の他のユーザが参入することが可能となる。また、第１拠点のユーザに配信される映像データおよび音声データが、参入ユーザの位置に応じて制限されることにより、第１拠点のユーザに不要な映像データおよび音声データが配信されるケースを低減できるので、円滑な会話を実現し得る。

なお、第１拠点のユーザ端末３０による、参入ユーザに関する映像データおよび音声データの出力態様は特に限定されない。例えば、第１拠点のユーザ端末３０は、第２拠点のユーザ端末３０により得られた映像データと参入ユーザに関する映像データを並べて表示してもよいし、第２拠点のユーザ端末３０により得られた映像データまたは参入ユーザに関する映像データの一方の映像データの中に、他方の映像データをワイプ挿入してもよい。

さらに、上記では、参入ユーザに関する映像データおよび音声データが会話に利用されている第１拠点のユーザ端末３０に配信される例を説明したが、参入ユーザに関する映像データおよび音声データは、第１拠点の他のユーザ端末３０に配信され、他のユーザ端末３０により出力されてもよい。また、各拠点に複数のユーザにより共用される表示装置が配置される場合、配信制御装置２０は、参入ユーザに関する映像データを当該表示装置に配信してもよい。

＜１−５．応用例＞
以上、本発明の第１の実施形態を説明した。続いて、上述した第１の実施形態の応用例を説明する。応用例は、参入ユーザにも異なる拠点のユーザの音声データおよび映像データを提供するための提案に関する。

図６は、応用例による動作を示す説明図である。図６に示す動作は、図５に示した動作に続いて行われる動作である。図６に示したように、配信制御装置２０は、参入ユーザに関する映像データおよび音声データの配信を開始した後（図５のＳ３５６）、第２拠点のユーザ端末３０のうちで、参入ユーザに最も近い非通話状態のユーザ端末３０を特定する（Ｓ３６４）。そして、配信制御装置２０は、特定したユーザ端末３０の端末ＩＤを、会話に利用されている第１拠点のユーザ端末３０に送信する（Ｓ３６８）。ここでは、配信制御装置２０が、参入ユーザに最も近い非通話状態のユーザ端末３０として、端末ＩＤが「Ｄ」であるユーザ端末３０Ｄを特定し、端末ＩＤ＝Ｄを会話に利用されている第１拠点のユーザ端末３０に送信した例を想定する。

第１拠点のユーザ端末３０は、配信制御装置２０から端末ＩＤを受信すると、第１の拠点のユーザ端末３０が撮像および収音により取得した映像データおよび音声データを、受信した端末ＩＤを有するユーザ端末３０に向けて配信し始める（Ｓ３７２）。本例では、第１拠点のユーザ端末３０は、映像データおよび音声データを第２拠点のユーザ端末３０Ｄに配信し始める。

そして、第２拠点のユーザ端末３０Ｄは、第１拠点のユーザ端末３０から配信される映像データおよび音声データの出力を開始する（Ｓ３７６）。

かかる構成によれば、参入ユーザは、参入ユーザに最も近い非通話状態のユーザ端末３０から出力される映像データおよび音声データから、第１拠点のユーザの状況を知ることができる。従って、参入ユーザは、第１拠点のユーザの映像データおよび音声データを出力するためのユーザ端末３０を持ち運ぶことなく、また、進行中の会話に利用されているユーザ端末３０を複数のユーザで共用することなく、会話に参入することが可能である。

なお、配信制御装置２０が参入ユーザに最も近い非通話状態のユーザ端末３０を特定することは、配信制御装置２０が参入ユーザの周囲のユーザ端末３０を特定することの一例に過ぎない。例えば、配信制御装置２０は、参入ユーザを含む映像データから参入ユーザの視線方向を解析し、参入ユーザの視線方向に位置する非通話状態のユーザ端末３０を特定してもよい。かかる構成によれば、参入ユーザは、視線移動を行うことなく第１拠点のユーザの映像データを確認することが可能である。

＜＜２．第２の実施形態＞＞
以上、本発明の第１の実施形態を説明した。次に、本発明の第２の実施形態を説明する。第２の実施形態は、処理可能な映像データの方式および音声データの方式が異なる端末が混在するシステムに関する提案である。

＜２−１．システム構成＞
図７は、第２の実施形態による情報処理システムを示す説明図である。図７に示したように、第２の実施形態による情報処理システムは、配信制御装置２２と、第１拠点に存在する複数のユーザ端末３０、複数の収音装置４０および複数の撮像装置５０と、第２拠点に存在する複数のユーザ端末３０、複数の収音装置４０、複数の撮像装置５０、複数の第１端末７１および複数の第２端末７２と、第１ゲートウェイ（ＧＷ：ＧａｔｅＷａｙ）６１と、第２ゲートウェイ６２と、を備える。ユーザ端末３０、収音装置４０および撮像装置５０の構成は第１の実施形態で説明した通りであるので、ここでの詳細な説明を省略する。

第１端末７１および第２端末７２は、ユーザ端末３０と同様に、音声データおよび映像データの出力機能を有する出力装置の一例である。しかし、第１端末７１、第２端末７２、およびユーザ端末３０では、処理可能な映像データの方式および音声データの方式が異なる。

第１ゲートウェイ６１は第１端末７１に対応するゲートウェイである。すなわち、第１ゲートウェイ６１は、第１端末７１宛ての映像データまたは音声データを第１端末７１に中継する。ここで。第１ゲートウェイ６１は、第１端末７１に適した方式に映像データまたは音声データを変換する。例えば、第１ゲートウェイ６１は、ＷＭＶ形式で配信された映像データをＭＰ４形式の映像データに変換してもよい。

第２ゲートウェイ６２は第２端末７２に対応するゲートウェイである。すなわち、第２ゲートウェイ６２は、第２端末７２宛ての映像データまたは音声データを第２端末７２に中継する。ここで。第２ゲートウェイ６２は、第２端末７２に適した方式に映像データまたは音声データを変換する。例えば、第２端末７２がＰＨＳ（Personal Handy-phone System）である場合、第２ゲートウェイ６２は、配信された音声データをＰＨＳ用の形式の音声データに変換してもよい。

配信制御装置２２は、第１の実施形態において説明した機能に加え、映像データおよび音声データの配信において経由すべきゲートウェイを特定する構成を有する。以下、図８を参照し、第２の実施形態による配信制御装置２２の構成を説明する。

＜２−２．配信制御装置の構成＞
図８は、第２の実施形態による配信制御装置２２の構成を示す説明図である。図８に示したように、第２の実施形態による配信制御装置２２は、通信部２２０と、参入検出部２３０と、配信制御部２５０と、記憶部２６０と、を備える。通信部２２０および参入検出部２３０の機能は第１の実施形態で説明した通りであるので、ここでの詳細な説明を省略する。

配信制御部２５０は、第１の実施形態で説明した配信制御部２４０の機能に加え、端末特定部２５２およびゲートウェイ特定部２５４の機能を有する。

端末特定部２５２は、参入検出部２３０により検出された参入ユーザの位置に応じて、第１拠点のユーザの映像データおよび音声データを参入ユーザに提供するための端末を特定する。例えば、端末特定部２５２は、複数の第１端末７１および複数の第２端末７２のうちで、参入ユーザに最も近い端末を特定してもよい。さらに、端末特定部２５２は、特定した端末が処理可能な映像データおよび音声データの方式を特定する。なお、当該方式の特定は、例えば、各端末と映像データおよび音声データの方式が関連付けられたテーブルを参照することにより行われてもよい。

ゲートウェイ特定部２５４は、端末特定部２５２により特定された端末が処理可能な映像データおよび音声データの方式に応じたゲートウェイのＩＤ（ゲートウェイＩＤ）を特定する。具体的には、記憶部２６０がゲートウェイのＩＤごとに映像データおよび音声データの方式を記憶しており、ゲートウェイ特定部２５４は、記憶部２６０を参照することにより、ゲートウェイＩＤを特定する。

端末特定部２５２により特定された端末の端末ＩＤおよびゲートウェイ特定部２５４により特定されたゲートウェイＩＤは、通信部２２０から第１拠点のユーザ端末３０に送信され、第１拠点のユーザ端末３０が配信する映像データおよび音声データの宛先に用いられる。

＜２−３．動作＞
以上、第２の実施形態による配信制御装置２２の構成を説明した。続いて、図９を参照し、第２の実施形態による情報処理システムの動作を整理する。

図９は、第２の実施形態による情報処理システムの動作を示す説明図である。なお、図９に示す動作は、図５に示した動作に続いて行われる動作である。図９に示したように、配信制御装置２２の端末特定部２５２は、参入ユーザに関する映像データおよび音声データの配信を開始した後（図５のＳ３５６）、第２拠点に存在する複数の第１端末７１および複数の第２端末７２のうちで、参入ユーザに最も近い端末を特定する（Ｓ４０４）。さらに、端末特定部２５２は、当該端末が処理可能な音声データおよび映像データの方式を特定する（Ｓ４０８）。続いて、配信制御装置２２のゲートウェイ特定部２５４は、端末特定部２５２により特定された端末が処理可能な映像データおよび音声データの方式に応じたゲートウェイのＩＤを特定する（Ｓ４１２）。

その後、配信制御装置２２は、Ｓ４０４において特定された端末の端末ＩＤおよびＳ４１２において特定されたゲートウェイＩＤを、会話に利用されている第１拠点のユーザ端末３０に送信する（Ｓ４１６、Ｓ４２０）。ここでは、ある第１端末７１の端末ＩＤが「Ｘ」であり、当該第１端末７１がＳ４０４において特定され、端末ＩＤ「Ｘ」および第１端末７１に対応する第１ゲートウェイ６１のゲートウェイＩＤが第１拠点のユーザ端末３０に送信された例を想定する。

第１拠点のユーザ端末３０は、配信制御装置２２から端末ＩＤ「Ｘ」および第１ゲートウェイ６１のゲートウェイＩＤを受信すると、端末ＩＤ「Ｘ」を宛先として指定して、第１の拠点のユーザ端末３０が撮像および収音により取得した映像データおよび音声データを、第１ゲートウェイ６１に送信する（Ｓ４２４）。

第１ゲートウェイ６１は、第１拠点のユーザ端末３０から受信した音声データおよび映像データの方式を変換し（Ｓ４２８）、変換後の方式の音声データおよび映像データを宛先として指定されている第１端末７１に送信する（Ｓ４３２）。そして、第１端末７１は、第１ゲートウェイ６１から受信される映像データおよび音声データの出力を開始する（Ｓ４３６）。

かかる構成によれば、ユーザ端末３０が処理可能な音声データおよび映像データの方式と異なる方式をサポートする第１端末７１および第２端末７２を用いても情報処理システムを実現することが可能である。このため、既存の電話システムが第１端末７１または第２端末７２として適用されれば、会話への参入を既存の電話システムを用いて支援することができる。

＜＜３．ハードウェア構成＞＞
以上、本発明の各実施形態を説明した。上述した参入検知や配信制御などの情報処理は、ソフトウェアと、以下に説明する配信制御装置２０のハードウェアとの協働により実現される。

図１０は、配信制御装置２０のハードウェア構成を示したブロック図である。配信制御装置２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３と、ホストバス２０４と、を備える。また、配信制御装置２０は、ブリッジ２０５と、外部バス２０６と、インタフェース２０７と、入力装置２０８と、表示装置２０９と、音声出力装置２１０と、ストレージ装置（ＨＤＤ）２１１と、ドライブ２１２と、ネットワークインタフェース２１５とを備える。

ＣＰＵ２０１は、演算処理装置および制御装置として機能し、各種プログラムに従って配信制御装置２０内の動作全般を制御する。また、ＣＰＵ２０１は、マイクロプロセッサであってもよい。ＲＯＭ２０２は、ＣＰＵ２０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ２０３は、ＣＰＵ２０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバス２０４により相互に接続されている。なお、図３を参照して説明した参入検出部２３０および配信制御部２４０などの機能は、ＣＰＵ２０１がＲＯＭ２０２から読み出されたプログラムをＲＡＭ２０３において処理することにより実現され得る。

ホストバス２０４は、ブリッジ２０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス２０６に接続されている。なお、必ずしもホストバス２０４、ブリッジ２０５および外部バス２０６を分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。

入力装置２０８は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ２０１に出力する入力制御回路などから構成されている。配信制御装置２０のユーザは、該入力装置２０８を操作することにより、配信制御装置２０に対して各種のデータを入力したり処理動作を指示したりすることができる。

表示装置２０９は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置およびランプなどの表示装置を含む。また、音声出力装置２１０は、スピーカおよびヘッドホンなどの音声出力装置を含む。

ストレージ装置２１１は、本実施形態にかかる配信制御装置２０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置２１１は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置２１１は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）で構成される。このストレージ装置２１１は、ハードディスクを駆動し、ＣＰＵ２０１が実行するプログラムや各種データを格納する。

ドライブ２１２は、記憶媒体用リーダライタであり、配信制御装置２０に内蔵、あるいは外付けされる。ドライブ２１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体２４に記録されている情報を読み出して、ＲＡＭ２０３またはストレージ装置２１１に出力する。また、ドライブ２１２は、リムーバブル記憶媒体２４に情報を書き込むこともできる。

ネットワークインタフェース２１５は、例えば、ネットワーク１２に接続するための通信デバイス等で構成された通信インタフェースである。また、ネットワークインタフェース２１５は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。

＜＜４．むすび＞＞
以上説明したように、本発明の実施形態によれば、参入ユーザがユーザ端末３０の持ち運びおよびユーザ端末３０の操作を行うことなく、第１拠点のユーザに参入ユーザの映像データおよび音声データが配信される。このため、異なる拠点間で進行している会話に、対面での会話に参入するような気軽な感覚で他のユーザが参入することが可能となる。また、第１拠点のユーザに配信される映像データおよび音声データが、参入ユーザの位置に応じて制限されるので、第１拠点のユーザに不要な映像データおよび音声データが配信されるケースを低減できるので、円滑な会話を実現し得る。

なお、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、本明細書の配信制御装置２０およびユーザ端末３０の処理における各ステップは、必ずしもシーケンス図として記載された順序に沿って時系列に処理する必要はない。例えば、配信制御装置２０およびユーザ端末３０の処理における各ステップは、シーケンス図として記載した順序と異なる順序で処理されても、並列的に処理されてもよい。

また、配信制御装置２０に内蔵されるＣＰＵ２０１、ＲＯＭ２０２およびＲＡＭ２０３などのハードウェアに、上述した配信制御装置２０の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。

２０、２２ 配信制御装置
２２ 配信制御装置
３０ ユーザ端末
４０ 収音装置
５０ 撮像装置
６１ 第１ゲートウェイ
６２ 第２ゲートウェイ
７１ 第１端末
７２ 第２端末
２２０ 通信部
２３０ 参入検出部
２４０、２５０ 配信制御部
２５２ 端末特定部
２５４ ゲートウェイ特定部
２６０ 記憶部

Claims (15)

1. 第１の通信端末および第２の通信端末を用いて行われる第１のユーザと第２のユーザとの会話へ参入する参入ユーザを検出する参入検出部と、
   前記参入ユーザの位置に応じて、前記参入ユーザに関するセンシングデータの取得を制御する制御部と、
   前記制御部による制御に基づいて取得されたセンシングデータを、前記第１の通信端末を利用する前記第１のユーザに向けて送信するセンシングデータ送信部と、
   を備え、
   前記参入検出部は、前記第２の通信端末の周囲に存在する２以上のユーザのうち、前記第２の通信端末に２番目以降に近いユーザを前記参入ユーザとして検出する、情報処理システム。
2. 第１の通信端末および第２の通信端末を用いて行われる第１のユーザと第２のユーザとの会話へ参入する参入ユーザを検出する参入検出部と、
   前記参入ユーザの位置に応じて、前記参入ユーザに関するセンシングデータの取得を制御する制御部と、
   前記制御部による制御に基づいて取得されたセンシングデータを、前記第１の通信端末を利用する前記第１のユーザに向けて送信するセンシングデータ送信部と、
   を備え、
   前記参入検出部は、前記第２の通信端末に接近し、前記第２の通信端末の周囲に留まったユーザから、前記参入ユーザを検出する、情報処理システム。
3. 第１の通信端末および第２の通信端末を用いて行われる第１のユーザと第２のユーザとの会話へ参入する参入ユーザを検出する参入検出部と、
   前記参入ユーザの位置に応じて、前記参入ユーザに関するセンシングデータの取得を制御する制御部と、
   前記制御部による制御に基づいて取得されたセンシングデータを、前記第１の通信端末を利用する前記第１のユーザに向けて送信するセンシングデータ送信部と、
   を備え、
   前記参入検出部は、前記第２のユーザを含む撮像画像から解析される前記第２のユーザの視線が他のユーザに向いたこと、および、前記他のユーザを含む撮像画像から解析される前記他のユーザの視線が前記第２のユーザに向いたことに基づいて、前記他のユーザを前記参入ユーザとして検出する、情報処理システム。
4. 前記センシングデータは音声データを含み、
   前記制御部は、複数の収音部のうちで、前記参入検出部により検出された前記参入ユーザに最も近接する収音部により得られた音声データを、前記参入ユーザに関するセンシングデータとして取得する、請求項１〜３のいずれか一項に記載の情報処理システム。
5. 前記センシングデータは音声データを含み、
   前記制御部は、複数の収音部のうちで、前記参入検出部により検出された前記参入ユーザを含むエリアの音声データを取得する収音システムにより得られた音声データを、前記参入ユーザに関するセンシングデータとして取得する、請求項１〜３のいずれか一項に記載の情報処理システム。
6. 前記センシングデータは音声データを含み、
   前記制御部は、前記参入ユーザに関するセンシングデータの取得を制御することとして、収音部による収音対象の方向を前記参入検出部により検出された前記参入ユーザに向ける制御を行う、請求項１〜３のいずれか一項に記載の情報処理システム。
7. 前記センシングデータは映像データを含み、
   前記制御部は、複数の撮像部のうちで、前記参入検出部により検出された前記参入ユーザの位置に応じて１の撮像部を選択し、当該１の撮像部により得られた映像データを、前記参入ユーザに関するセンシングデータとして取得する、請求項１〜３のいずれか一項に記載の情報処理システム。
8. 前記センシングデータは映像データを含み、
   前記制御部は、撮像部により得られた映像データから前記参入ユーザを含む領域のデータを、前記参入ユーザに関するセンシングデータとして取得する、請求項１〜３のいずれか一項に記載の情報処理システム。
9. 前記センシングデータ送信部は、前記センシングデータを前記第１の通信端末に送信する、請求項１〜８のいずれか一項に記載の情報処理システム。
10. 第１の通信端末および第２の通信端末を用いて行われる第１のユーザと第２のユーザとの会話へ参入する参入ユーザを検出する参入検出部と、
    前記参入ユーザの位置に応じて、前記参入ユーザに関するセンシングデータの取得を制御する制御部と、
    前記制御部による制御に基づいて取得されたセンシングデータを、前記第１の通信端末を利用する前記第１のユーザに向けて送信するセンシングデータ送信部と、
    前記参入ユーザの周囲に位置する出力装置を特定する特定部と、
    前記特定部により特定された出力装置の識別情報を前記第１の通信端末に送信する識別情報送信部と、
    を備え、
    前記第１の通信端末は、前記第１の通信端末が取得したセンシングデータを、前記識別情報により示される出力装置に送信し、
    前記第１の通信端末から前記センシングデータを受信した出力装置は、当該センシングデータを出力する、情報処理システム。
11. 前記特定部は、前記出力装置に対応するゲートウェイをさらに特定し、
    前記識別情報送信部は、前記ゲートウェイの識別情報を前記第１の通信端末にさらに送信し、
    前記第１の通信端末は、前記出力装置宛てのセンシングデータを前記ゲートウェイに送信し、
    前記ゲートウェイは、前記第１の通信端末から受信したセンシングデータの方式を変換し、方式が変換されたセンシングデータを前記出力装置に送信する、請求項１０に記載の情報処理システム。
12. 第１の通信端末および第２の通信端末を用いて行われる第１のユーザと第２のユーザとの会話へ参入する参入ユーザとして、前記第２の通信端末の周囲に存在する２以上のユーザのうち、前記第２の通信端末に２番目以降に近いユーザを検出することと、
    前記参入ユーザの位置に応じて、前記参入ユーザに関するセンシングデータの取得を制御することと、
    前記センシングデータを、前記第１の通信端末を利用する前記第１のユーザに向けて送信することと、
    を含む、情報処理方法。
13. 第１の通信端末および第２の通信端末を用いて行われる第１のユーザと第２のユーザとの会話へ参入する参入ユーザを、前記第２の通信端末に接近し、前記第２の通信端末の周囲に留まったユーザから検出することと、
    前記参入ユーザの位置に応じて、前記参入ユーザに関するセンシングデータの取得を制御することと、
    前記センシングデータを、前記第１の通信端末を利用する前記第１のユーザに向けて送信することと、
    を含む、情報処理方法。
14. コンピュータを、
    第１の通信端末および第２の通信端末を用いて行われる第１のユーザと第２のユーザとの会話へ参入する参入ユーザとして、前記第２の通信端末の周囲に存在する２以上のユーザのうち、前記第２の通信端末に２番目以降に近いユーザを検出する参入検出部と、
    前記参入ユーザの位置に応じて、前記参入ユーザに関するセンシングデータの取得を制御する制御部と、
    前記センシングデータを、前記第１の通信端末を利用する前記第１のユーザに向けて送信するセンシングデータ送信部と、
    として機能させるための、プログラム。
15. コンピュータを、
    第１の通信端末および第２の通信端末を用いて行われる第１のユーザと第２のユーザとの会話へ参入する参入ユーザを、前記第２の通信端末に接近し、前記第２の通信端末の周囲に留まったユーザから検出する参入検出部と、
    前記参入ユーザの位置に応じて、前記参入ユーザに関するセンシングデータの取得を制御する制御部と、
    前記センシングデータを、前記第１の通信端末を利用する前記第１のユーザに向けて送信するセンシングデータ送信部と、
    として機能させるための、プログラム。
    

Images