JP6870363B2 - 通信装置、方法およびプログラム - Google Patents

Description

本発明は、通信装置、方法およびプログラムに関する。

近年、ネットワークおよびマルチメディア伝送技術の発達により、遠隔地のサテライトオフィス同士、または地方のサテライトオフィスと本社を結ぶテレワークの導入が容易となっている。このため、経営改革の一環として、テレワークの導入を推進している企業が増加している。

オフィスでは業務中のコミュニケーションが重要視されており、特に、部門間の連携、およびメンバーが分散環境で一緒に行う業務などにおいては、業務中のコミュニケーションが重要である。このため、互いに離れた拠点で、大画面ディスプレイを用いて互いの拠点の映像および音を出力することで、気軽に挨拶や対面対話を行うためのシステムが開発されている。

特開２００６−２２９９０２号公報

３拠点に上記大画面ディスプレイが配置されたシステムにおいて、第１の拠点のメンバーと第２の拠点のメンバーが対面対話を行っている場合、第３の拠点のメンバーは、対面対話の音声を耳障りに感じることがある。この点に関し、特許文献１には、ＴＶ会議システムであって、一部のメンバー間での対話音声を他のメンバーに出力しないＴＶ会議システムが開示されている。特許文献１には、他のメンバーには劣化した対話音声を出力する例も開示されている。

しかし、同一テーマの業務を異なる拠点のメンバーが遂行する場合、他拠点間の対話音声は、貴重な情報源またはコミュニケーションのきっかけとなることも多い。特に、チームやプロジェクトのリーダーは、メンバー間のコミュニケーションがどのように行われているのか、どのような会話および情報交換を行っているのかを把握しておくことを望む場合もある。また、他の拠点間の対話音声を耳障りに感じるメンバーと、他の拠点間の対話音声を積極的に聞きたい人が混在することもある。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ある拠点において、他の拠点間の対話音声の出力態様を動的に制御することが可能な、新規かつ改良された通信装置、方法およびプログラムを提供することにある。

上記課題を解決するために、本発明のある観点によれば、第１の通信装置および第２の通信装置と接続された通信装置であって、前記第１の通信装置から送信された第１の映像および第１の音、前記第２の通信装置から送信された第２の映像および第２の音を受信する通信部と、前記第１の映像および前記第２の映像を出力する映像出力部と、前記第１の音および前記第２の音を出力する音出力部と、ユーザを検出する検出部と、前記第１の通信装置を利用する第１のユーザと前記第２の通信装置を利用する第２のユーザとの対話が、前記第１の通信装置または前記第２の通信装置の一方からの対話要求の送信および他方による前記対話要求の受理により成立している間、前記第１の音および前記第２の音の前記音出力部による出力を、前記検出部による前記ユーザの検出の結果に基づいて制御し、前記第１のユーザと前記第２のユーザとの対話が成立していない間は前記音出力部に前記第１の音および前記第２の音を出力させる、制御部と、を備える、通信装置が提供される。

前記制御部は、前記第１のユーザと前記第２のユーザの間での対話が成立している間、前記検出部により前記ユーザが検出されない場合には前記音出力部に前記第１の音および前記第２の音を出力させず、前記検出部により前記ユーザが検出された場合には前記音出力部に前記第１の音および前記第２の音を出力させてもよい。

前記通信装置は、音を収音する音入力部と、撮像により映像を取得する映像入力部と、をさらに備え、前記音入力部により収音された前記音および前記映像入力部により取得された前記映像は前記第１の通信装置および前記第２の通信装置に送信され、前記制御部は、前記第１のユーザと前記第２のユーザとの対話に、前記第1の通信装置および前記第2の通信装置への対話要求の送信および当該対話要求の受理により前記ユーザが参加していない間は、前記対話に前記ユーザが参加している間よりも、前記第１の音および前記第２の音の到達範囲が制限されるように前記音出力部を制御してもよい。

前記制御部は、前記対話に前記ユーザが参加していない間には、前記第１の音および前記第２の音の出力が指向性を有するように前記音出力部を制御し、前記対話に前記ユーザが参加している間には、前記第１の音および前記第２の音の出力が無指向性になるように前記音出力部を制御してもよい。

前記検出部は、前記映像入力部の撮像範囲内の位置における前記ユーザの有無を検出してもよい。

前記音入力部は、第１のマイクロフォン、および前記第１のマイクロフォンより収音範囲が制限される第２のマイクロフォンを含み、前記検出部は、前記ユーザの位置に関する検出を行い、前記制御部は、前記検出部による検出の結果に基づき前記第１のマイクロフォンまたは前記第２のマイクロフォンを選択し、選択したマイクロフォンにより取得された音声の送信を制御してもよい。

前記制御部は、前記ユーザと前記通信装置の距離が閾値以上である場合に前記第１のマイクロフォンを選択し、前記ユーザと前記通信装置の距離が前記閾値未満である場合に前記第２のマイクロフォンを選択してもよい。

また、上記課題を解決するために、本発明の別の観点によれば、第１の通信装置および第２の通信装置と接続された通信装置により実行される方法であって、前記第１の通信装置から送信された第１の映像および第１の音、前記第２の通信装置から送信された第２の映像および第２の音を受信することと、前記第１の映像および前記第２の映像を出力することと、前記第１の音および前記第２の音を出力することと、前記第１の通信装置を利用する第１のユーザと前記第２の通信装置を利用する第２のユーザとの対話が、前記第１の通信装置または前記第２の通信装置の一方からの対話要求の送信および他方による前記対話要求の受理により成立している間、前記第１の音および前記第２の音の出力を、前記通信装置が有する検出部によるユーザの検出の結果に基づいて制御することと、前記第１のユーザと前記第２のユーザとの対話が成立していない間は前記第１の音および前記第２の音を出力することと、を含む方法が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、コンピュータに、第１の通信装置および第２の通信装置と接続された通信装置により実行される方法であって、前記第１の通信装置から送信された第１の映像および第１の音、前記第２の通信装置から送信された第２の映像および第２の音を受信することと、前記第１の映像および前記第２の映像を出力することと、前記第１の音および前記第２の音を出力することと、前記第１の通信装置を利用する第１のユーザと前記第２の通信装置を利用する第２のユーザとの対話が、前記第１の通信装置または前記第２の通信装置の一方からの対話要求の送信および他方による前記対話要求の受理により成立している間、前記第１の音および前記第２の音の出力を、前記通信装置が有する検出部によるユーザの検出の結果に基づいて制御することと、前記第１のユーザと前記第２のユーザとの対話が成立していない間は前記第１の音および前記第２の音を出力することと、を含む方法を実行させるための、プログラムが提供される。

以上説明したように本発明によれば、ある拠点において、他の拠点間の対話音声の出力態様を動的に制御することが可能である。

本発明の実施形態による遠隔コミュニケーションシステムの構成を示す説明図である。 通信装置の外観構成を示す説明図である。 各通信装置の映像出力部に表示される表示画面の遷移例を示す説明図である。 本発明の実施形態による通信装置の構成を示す説明図である。 音の出力制御の具体例を示す説明図である。 音の出力制御の具体例を示す説明図である。 本発明の実施形態による通信装置の動作を示す説明図である。 変形例による音の出力制御を示す説明図である。 通信装置のハードウェア構成を示したブロック図である。

以下に添付図面を参照しながら、本発明の実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。例えば、実質的に同一の機能構成または論理的意義を有する複数の構成を、必要に応じて通信装置２０Ａおよび２０Ｂのように区別する。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、複数の構成要素の各々に同一符号のみを付する。例えば、通信装置２０Ａおよび２０Ｂを特に区別する必要が無い場合には、各クライアントを単に通信装置２０と称する。

＜１．遠隔コミュニケーションシステムの概要＞
本発明の実施形態は、遠隔する拠点間でのコミュニケーションを実現する遠隔コミュニケーションシステムに関する。以下、図１〜図３を参照し、遠隔コミュニケーションシステムの概要を説明する。

図１は、本発明の実施形態による遠隔コミュニケーションシステムの構成を示す説明図である。図１に示したように、本発明の実施形態による遠隔コミュニケーションシステムは、拠点Ａに設けられる通信装置２０Ａ、拠点Ｂに設けられる通信装置２０Ｂ、拠点Ｃに設けられる通信装置２０Ｃおよびセッション管理サーバ３０を有する。通信装置２０Ａ、通信装置２０Ｂ、通信装置２０Ｃおよびセッション管理サーバ３０は、ネットワーク１２により接続されている。拠点Ａ〜拠点Ｃは、互いに遠隔する拠点であり、例えば、互いに離れたオフィスであってもよいし、同一建物の別フロア、または同一敷地内の別棟のオフィスであってもよい。

各通信装置２０は、各通信装置２０が設けられた拠点の映像および音を送信する。また、各通信装置２０は、他の拠点の通信装置２０から送信された映像および音を受信し、受信した映像および音を出力する。これにより、異なる拠点に存在するメンバー（通信装置２０のユーザ）が対面対話を行うことが可能である。

例えば、図１に示した例では、拠点Ａに存在するメンバーＰ１と拠点Ｂに存在するメンバーＰ２が、通信装置２０Ａおよび通信装置２０Ｂを介して対面対話を行っている。図１に示した例では、拠点Ｃに存在するメンバーＰ３は対面対話に参加していない。

セッション管理サーバ３０は、通信装置２０間のセッションを管理する。例えば、セッション管理サーバ３０は、通信装置２０Ａ〜通信装置２０Ｃの接続状態を管理し、各通信装置はこの状態に応じて対話参加状態や非参加状態、および対話終了時の状態に復帰するなどの状態遷移を行う。また、セッション管理サーバ３０は、通信装置２０Ａ〜通信装置２０Ｃの各々から送信された映像および音を収集し、収集された映像および音を通信装置２０Ａ〜通信装置２０Ｃの各々へ送信してもよい。ただし、各通信装置２０にセッションの管理機能が実装され、各通信装置２０が直接的に通信することが可能な場合には、セッション管理サーバ３０は設けられなくてもよい。

（通信装置の外観構成）
ここで、図２を参照して、通信装置２０の構成をより具体的に説明する。図２は、通信装置２０の外観構成を示す説明図である。図２に示したように、通信装置２０は、映像出力部２２０と、無指向性スピーカ２２３と、指向性スピーカ２２４と、映像入力部２２８と、音入力部２３２と、を備える。

映像出力部２２０は、例えば大画面ディスプレイで構成される。映像出力部２２０は、各拠点の通信装置２０により得られた映像を表示する。例えば、映像出力部２２０は、図２に示したように、拠点Ａの映像ＤＡ、拠点Ｂの映像ＤＢおよび拠点Ｃの映像ＤＣを表示する。

無指向性スピーカ２２３は、他の拠点の通信装置２０から送信された音を無指向性で出力する。指向性スピーカ２２４は、他の拠点の通信装置２０から送信された音を所定の方向に向けて出力する。無指向性スピーカ２２３と指向性スピーカ２２４は、選択的に、または同時に使用され得る。

映像入力部２２８は、通信装置２０が設けられた拠点の映像を撮像により取得する。例えば、拠点Ａに設けられた通信装置２０Ａの映像入力部２２８は拠点Ａの映像（第１の映像）を撮像により取得し、拠点Ｂに設けられた通信装置２０Ｂの映像入力部２２８は拠点Ｂの映像（第２の映像）を撮像により取得し、拠点Ｃに設けられた通信装置２０Ｃの映像入力部２２８は拠点Ｃの映像（第３の映像）を撮像により取得する。通信装置２０Ａの映像入力部２２８により取得された拠点Ａの映像は、通信装置２０同士のＰｅｅｒ ｔｏ Ｐｅｅｒによる通信あるいはセッション管理サーバ３０を介して通信装置２０Ｂおよび通信装置２０Ｃに送信される。同様に、通信装置２０Ｂの映像入力部２２８により取得された拠点Ｂの映像は、通信装置２０同士のＰｅｅｒ ｔｏ Ｐｅｅｒによる通信あるいはセッション管理サーバ３０を介して通信装置２０Ａおよび通信装置２０Ｃに送信され、通信装置２０Ｃの映像入力部２２８により取得された拠点Ｃの映像は、通信装置２０同士のＰｅｅｒ ｔｏ Ｐｅｅｒによる通信あるいはセッション管理サーバ３０を介して通信装置２０Ａおよび通信装置２０Ｂに送信される。これにより、各通信装置２０の映像出力部２２０が、拠点Ａの映像ＤＡ、拠点Ｂの映像ＤＢおよび拠点Ｃの映像ＤＣを表示可能となる。

音入力部２３２は、通信装置２０が設けられた拠点の音を収音するマイクロフォンである。例えば、拠点Ａに設けられた通信装置２０Ａの音入力部２３２は拠点Ａの音（第１の音）を収音し、拠点Ｂに設けられた通信装置２０Ｂの音入力部２３２は拠点Ｂの音（第２の音）を収音し、拠点Ｃに設けられた通信装置２０Ｃの音入力部２３２は拠点Ｃの音（第３の音）を収音する。通信装置２０Ａの音入力部２３２により取得された拠点Ａの音は、通信装置２０同士のＰｅｅｒ ｔｏ Ｐｅｅｒによる通信あるいはセッション管理サーバ３０を介して通信装置２０Ｂおよび通信装置２０Ｃに送信される。同様に、通信装置２０Ｂの音入力部２３２により取得された拠点Ｂの音は、通信装置２０同士のＰｅｅｒ ｔｏ Ｐｅｅｒによる通信あるいはセッション管理サーバ３０を介して通信装置２０Ａおよび通信装置２０Ｃに送信され、通信装置２０Ｃの音入力部２３２により取得された拠点Ｃの音は、通信装置２０同士のＰｅｅｒ ｔｏ Ｐｅｅｒによる通信あるいはセッション管理サーバ３０を介して通信装置２０Ａおよび通信装置２０Ｂに送信される。これにより、各通信装置２０の無指向性スピーカ２２３または指向性スピーカ２２４が、他の拠点の音を出力することが可能となる。

なお、図２においては、通信装置２０が有する各構成が一体的に配置される例を示しているが、通信装置２０が有する一部の構成は他の構成から離れて配置されてもよい。例えば、音入力部２３２は映像出力部２２０から分離して配置されてもよく、分離して配置された構成は有線または無線により他の構成と接続されてもよい。

（表示画面の遷移）
続いて、図３を参照し、上述した映像出力部２２０に表示される表示画面の遷移例を説明する。

図３は、各通信装置２０の映像出力部２２０に表示される表示画面の遷移例を示す説明図である。各拠点の通信装置２０が起動した状態では、図３の上段に示したように、各通信装置２０の映像出力部２２０には共通の表示画面が表示される。共通の表示画面では、各拠点の映像ＤＡ〜ＤＣが均等に配置される。

その後、ある２拠点間の対面対話（通信装置２０を介した対話）が成立すると、各通信装置２０の映像出力部２２０に表示される表示画面が変化する。例えば、拠点Ａに存在するメンバーＰ１および拠点Ｂに存在するメンバーＰ２による対面対話が成立すると、各通信装置２０の映像出力部２２０に表示される表示画面は図３の下段に示すように変化する。

すなわち、通信装置２０Ａの映像出力部２２０には、メンバーＰ２を含む拠点Ｂの映像ＤＢが拡大表示され、自拠点の映像ＤＡおよび他の拠点の映像ＤＣが縮小表示される。また、通信装置２０Ｂの映像出力部２２０には、メンバーＰ１を含む拠点Ａの映像ＤＡが拡大表示され、自拠点の映像ＤＢおよび他の拠点の映像ＤＣが縮小表示される。一方、通信装置２０Ｃの映像出力部２２０では、拠点Ｃに対面対話に参加しているメンバーがいないことから、各拠点の映像ＤＡ〜ＤＣが均等に配置された表示画面が維持される。ただし、通信装置２０Ｃの映像出力部２２０は、拠点Ａと拠点Ｂ間で対面対話が行われていることを示す表示を、例えば、図３に示したように拠点Ａの映像ＤＡおよび拠点Ｂの映像ＤＢを囲むハイライト表示Ｈを出力する。これにより、拠点Ｃに存在するメンバーＰ３は、拠点Ａと拠点Ｂ間で対面対話が行われていることを目視で確認することが可能となる。

なお、上記では拠点が３つであり、３つの拠点の映像が表示される例を示したが、拠点の数、および表示される映像の数は、３つに限定されない。本発明の実施形態による遠隔コミュニケーションシステムは、より多数の拠点に適用されてもよく、各拠点の映像出力部２２０に表示される映像の数は、映像出力部２２０の解像度および大きさに応じて設計されてもよい。全ての拠点の映像が１画面で表示されると視認性が十分でない場合には、選択された一部の拠点の映像が表示されてもよい。

（背景）
以上説明した遠隔コミュニケーションシステムにおいて、一部の拠点間で対面対話が行われている場合に、対面対話に参加していない拠点で対面対話の音声が出力されると、当該拠点のメンバーが対面対話の音声を耳障りに感じることがある。このため、一部の拠点間で行われている対面対話の音声は、対面対話に参加していない拠点で出力しない方法も考えられる。

しかし、同一テーマの業務を異なる拠点のメンバーが遂行する場合、他拠点間の対話音声は、貴重な情報源またはコミュニケーションのきっかけとなることも多い。特に、チームやプロジェクトのリーダーは、メンバー間のコミュニケーションがどのように行われているのか、どのような会話および情報交換を行っているのかを把握しておくことを望む場合もある。また、他の拠点間の対話音声を耳障りに感じるメンバーと、他の拠点間の対話音声を積極的に聞きたい人が混在することもある。すなわち、他の拠点間の対話音声を聞くか聞かないかの判断は、各メンバー側に委ねられることが望まれる。

なお、映像出力部２２０が大画面ディスプレイで構成される場合、通信装置２０が共用スペースに設置されることが多い。このため、対面対話に参加していない拠点で対面対話の音声が出力される場合、通信装置２０の映像入力部２２８の撮像範囲外に存在するメンバーに対面対話の音声が聞かれ得る。対面対話を行っているメンバー側は、自分達の対話を自分達に知られずに誰かが聞いているかもしれないという不安を感じる恐れがある。

本件発明者は、上記事情を一着眼点にして本発明の実施形態を創作するに至った。本発明の実施形態によれば、ある拠点に存在するメンバーに、他の拠点間の対話音声を聞くか聞かないかの判断を委ねることが可能である。また、対面対話を行っているメンバー側が上述の不安を感じる恐れを抑制することが可能である。以下、このような本発明の実施形態の構成および動作を順次詳細に説明する。

＜２．通信装置の構成＞
図４は、本発明の実施形態による通信装置２０の構成を示す説明図である。図４に示したように、本発明の実施形態による通信装置２０は、映像出力部２２０と、操作部２２１と、音出力部２２２と、映像入力部２２８と、音入力部２３２と、センシング部２３６と、通信部２４０と、制御部２５０と、を備える。映像出力部２２０、映像入力部２２８および音入力部２３２の構成は図２を参照して説明した通りであるので、ここでの詳細な説明を省略する。なお、通信装置２０が有する各構成は、ハードウェアにより実現されてもよいし、ハードウェアとソフトウェアとの協働により実現されてもよい。

操作部２２１は、通信装置２０を利用するメンバーによる操作を検出する。例えば、操作部２２１は、対面対話を他の拠点に要求する操作、要求された対面対話を受理する操作、などを検出する。この操作部２２１は、タッチパネルとして、映像出力部２２０と一体的に実装されてもよい。操作部２２１がタッチパネルとして実装される場合、対面対話を他の拠点に要求する操作は、映像出力部２２０により表示される表示画面のうちで、他の拠点の映像をタップする操作であってもよい。

音出力部２２２は、他の拠点の通信装置２０から送信された音を出力する。音出力部２２２は、例えば、図２を参照して説明した無指向性スピーカ２２３および指向性スピーカ２２４から構成される。

センシング部２３６は、対象範囲内におけるメンバーの有無を検出する。上記の対象範囲は、後述する理由により、映像入力部２２８による撮像の範囲内であることが望ましい。センシング部２３６は、例えば距離画像センサであってもよいし、赤外線センサであってもよい。または、映像入力部２２８により取得された画像を解析することでメンバーを検出することも可能であり、この場合、センシング部２３６は、映像入力部２２８により取得された画像から人物検出を行うソフトウェアまたはハードウェアモジュールであってもよい。なお、センシング部２３６は、メンバーの有無に加えて、またはメンバーの有無に代えて、センシング部２３６からメンバーまでの距離を検出してもよい。

通信部２４０は、ネットワーク１２を介して映像および音を通信する。例えば、通信部２４０は、ネットワーク１２およびセッション管理サーバ３０を介して、他の拠点の通信装置２０から送信された映像および音を受信する受信部としての機能を有する。また、通信部２４０は、映像入力部２２８により取得された映像および音入力部２３２により取得された音を、ネットワーク１２およびセッション管理サーバ３０を介して、他の拠点の通信装置２０に送信する送信部としての機能を有する。なお、音入力部２３２により取得される音は、拠点の環境音およびメンバーの音声を含む。さらに、通信部２４０は、他の拠点の通信装置２０から対話要求を受信すること、および他の拠点の通信装置２０に対話要求を送信することも可能である。

制御部２５０は、通信装置２０の動作全般を制御する。例えば、制御部２５０は、映像入力部２２８により取得された映像、および音入力部２３２により取得された音を通信部２４０に送信させる。また、制御部２５０は、通信部２４０により受信された他の拠点の映像を含む表示画面を映像出力部２２０に表示させ、通信部２４０により受信された他の拠点の音を音出力部２２２に出力させる。

また、制御部２５０は、メンバーが操作部２２１に行った対面対話を要求する操作に基づき、通信部２４０に、対話要求を他の拠点の通信装置２０へ送信させる。また、制御部２５０は、メンバーが操作部２２１に行った対話要求を受理する操作に基づき、通信部２４０に応答信号を送信させる。なお、対話要求の受理は、操作部２２１への操作に限られず、映像入力部２２８により取得された画像においてメンバーが映像出力部２２０を見たことの検出、映像入力部２２８にメンバーが近づいたことの検出、またはメンバーが発した音声に基づいて判断されてもよい。

また、制御部２５０は、対話要求が受理され、少なくとも２つの拠点間での対面対話が開始すると、図３を参照して説明したように、映像出力部２２０に表示させる表示画面を変化させる。例えば、制御部２５０は、通信装置２０の拠点のメンバーが対面対話に参加している場合には対面対話の相手側の拠点の映像を拡大し、通信装置２０の拠点のメンバーが対面対話に参加していない場合には、対面対話に参加しているメンバーの拠点をハイライト表示する。

また、制御部２５０は、音出力部２２２による音の出力態様を動的に制御する。具体的には、制御部２５０は、いずれの拠点間でも対面対話が行われていない場合、音出力部２２２に他の拠点の音を通常出力させる。通常出力は、例えば、無指向性スピーカ２２３からの音の出力である。同様に、制御部２５０は、通信装置２０の拠点のメンバーが対面対話に参加している場合にも、音出力部２２２に他の拠点の音を通常出力させる。

一方、本実施形態による制御部２５０は、他の拠点間で対面対話が行われている間、音出力部２２２からの音の出力をＯＦＦにする。かかる構成により、通信装置２０の拠点のメンバーに対話音声が届かないので、通信装置２０の拠点のメンバーが対話音声を耳障りに感じることを防止できる。

しかし、「背景」として説明したように、他の拠点間の対話音声を聞くか聞かないかの判断は、各メンバー側に委ねられることが望まれる。このため、本実施形態による制御部２５０は、センシング部２３６により映像出力部２２０の前の所定領域でメンバーが検出されたことに基づいて、他の拠点の音を音出力部２２２に局所出力させる。局所出力は、例えば、指向性スピーカからの音の出力である。

ここで、図５を参照して、制御部２５０による上述した制御の具体例を説明する。図５は、拠点Ｃに設けられた通信装置２０Ｃ、および拠点Ｃに存在するメンバーＰ３およびＰ４を示す。拠点Ａおよび拠点Ｂの間で対面対話が行われている状況において、いずれのメンバーもセンシング部２３６により検出されない場合、他の拠点の音は、無指向性スピーカ２２３および指向性スピーカ２２４のいずれからも出力されない。

一方、図５に矢印で示したように、メンバーＰ３が通信装置２０Ｃに近づき、センシング部２３６によりメンバーＰ３が検出されると、指向性スピーカ２２４が、対話音声を含む他の拠点の音を局所出力する。かかる構成により、メンバーＰ３のように対面対話に興味のあるメンバーは、対話音声を聞くことが可能となる。一方、通信装置２０Ｃに近づいていないメンバーＰ４には、局所出力された他の拠点の音が届かないので、メンバーＰ４が対話音声を耳障りに感じることもない。

さらに、上述したように、センシング部２３６によるメンバー検出の対象範囲は、映像入力部２２８による撮像の範囲内であってもよい。かかる構成によれば、メンバーの検出に基づいて対話音声が出力される場合に、対面対話を行っているメンバーは、各拠点の通信装置２０に表示される表示画面で上記メンバーを目視確認することができる。したがって、対面対話を行っているメンバーが持ち得る、他の拠点において自分達に知られずに誰かが対話音声を聞いているかもしれないという不安を軽減することが可能である。

続いて、図６を参照して、音の出力態様の遷移例を整理する。図６は、拠点Ｃに設けられた通信装置２０Ｃによる音の出力態様の例を示す。いずれの拠点間でも対面対話が行われていない場合、通信装置２０の音出力部２２２は他の拠点の音を通常出力する（Ｓ１）。図６において円形の実線は、ある音量で入力された音が到達する範囲を簡易的に示している。

他の拠点間で対面対話が行われている場合、通信装置２０の音出力部２２２は、図６に示したように他の拠点の音の出力をＯＦＦにする（Ｓ２）。ただし、拠点ＣのメンバーＰ３が通信装置２０Ｃに近づくと、通信装置２０の音出力部２２２は、図６に示したように対話音声を含む他の拠点の音を局所出力する（Ｓ３）。ここで、局所出力での音の到達範囲は、図６に示したように、通常出力での音の到達範囲よりも制限される。このため、
通常出力であれば対話音声が到達する位置にメンバーＰ４がいる場合であっても、局所出力によればメンバーＰ４に対話音声を到達させないことが可能である。

さらに、拠点ＣのメンバーＰ３が対面対話に参加すると、通信装置２０の音出力部２２２は、対話音声を含む他の拠点の音を通常出力する（Ｓ１）。

＜３．通信装置の動作＞
以上、本発明の実施形態による通信装置２０の構成を説明した。続いて、図７を参照し、本発明の実施形態による通信装置２０の動作を説明する。

図７は、本発明の実施形態による通信装置２０の動作を示す説明図である。図７においては、説明の明瞭性の観点から、セッション管理サーバ３０の動作を割愛している。また、同一の横ラインに並ぶ同一名称の複数の処理ステップで行われる処理は実質的に同一であるので、複数の処理ステップのうちの１つの処理ステップのみにステップ番号を付している。また、一連の処理ステップは連続的に行われる必要は無く、いずれかの時点で処理の分岐や中断があってもよい。

まず、各通信装置２０が起動すると（Ｓ１０１）、各通信装置２０は、自身の拠点の映像および音を取得する（Ｓ１０２）。各通信装置２０は、取得した映像を他の拠点の通信装置２０に送信すると共に、他の拠点の通信装置２０から他の拠点の映像および音を受信する（Ｓ１０３）。

各通信装置２０は、Ｓ１０３で受信した他の拠点の映像を表示し（Ｓ１０４）、Ｓ１０３で受信した他の拠点の音を通常出力する（Ｓ１０５）。Ｓ１０２〜Ｓ１０５の処理ステップは、対話要求の受理があるまで繰り返し行われる。また、Ｓ１０２〜Ｓ１０４の処理ステップは、対話要求の受理に関わらず、以降は常にバックグラウンドで行われる。なお、Ｓ１０４においては、図３の上段に示したように、各拠点の映像が均等に表示される。

その後、拠点Ａのメンバーが拠点Ｂのメンバーとの対面対話を要求する操作（例えば、表示画面において拠点Ｂのメンバーをタップする操作）を操作部２２１に対して行うと、通信装置２０Ａは通信装置２０Ｂへの対話要求を送信する（Ｓ１０６/Ｙｅｓ）。当該対話要求が通信装置２０Ｂにおいて受理されると（Ｓ１０８）、通信装置２０Ａおよび通信装置２０Ｂは、対面対話の相手の拠点の映像を拡大表示する（Ｓ１０９）。

一方、対面対話に参加していない拠点Ｃの通信装置２０Ｃは、拠点Ａおよび拠点Ｂの音の出力をＯＦＦにする（Ｓ１１０）。そして、拠点Ｃの通信装置２０Ｃは、図３に示したように、拠点Ａと拠点Ｂ間で対面対話が行われていることを示すハイライト表示Ｈを出力する（Ｓ１１１）。

その後、通信装置２０Ｃに拠点Ｃのメンバーが近づいて、当該メンバーがセンシング部２３６により検出されると（Ｓ１１２／Ｙｅｓ）、通信装置２０Ｃは拠点Ａおよび拠点Ｂの音の局所出力を開始する（Ｓ１１３）。

さらに、拠点Ｃのメンバーが、対面対話への参加を要求する操作を操作部２２１に対して行うと（Ｓ１１４／Ｙｅｓ）、対面対話を行っている拠点Ａの通信装置２０Ａおよび拠点Ｂの通信装置２０Ｂに対話要求が送信される。当該対話要求が受理されると（Ｓ１１５）、通信装置２０Ｃは、拠点Ａおよび拠点Ｂの音の出力を、局所出力から通常出力に変更する（Ｓ１１６）。さらに、各拠点の通信装置２０は、３拠点間での対面対話用の表示画面を表示する（Ｓ１１７）。３拠点間での対面対話用の表示画面では、各拠点の映像が均等に配置され、かつ対面対話が行われていることを示す表示が重畳されてもよい。なお、拠点Ｃの対面対話への参加は、拠点Ｃからの要求でなく、拠点Ａまたは拠点Ｂからの招待に基づいて実現されてもよい。

その後、全ての対話が終了すると、各通信装置２０の状態は通常状態に戻る（Ｓ１１８）。すなわち、各通信装置２０の状態は、Ｓ１０２〜Ｓ１０５の処理ステップを繰り返す状態となる。なお、３拠点間での対面対話の終了過程において、まず１つの拠点が対面対話から抜ける場合には、当該拠点の通信装置２０がＳ１１０〜Ｓ１１４の処理ステップを繰り返す。

＜４．変形例＞
以上、本発明の実施形態を説明した。以下では、本発明の実施形態の幾つかの変形例を説明する。なお、以下に説明する各変形例は、単独で本発明の実施形態に適用されてもよいし、組み合わせで本発明の実施形態に適用されてもよい。また、各変形例は、本発明の実施形態で説明した構成に代えて適用されてもよいし、本発明の実施形態で説明した構成に対して追加的に適用されてもよい。

（第１の変形例）
図５では、他の拠点間で行われている対面対話に興味のあるメンバーは映像出力部２２０に近づくと、対話音声が局所出力されることを示した。対話音声が局所出力される間、当該メンバーの拠点の音が騒がしい場合、対話音声を聞きとり易くするために、当該メンバーはさらに映像出力部２２０に近づく可能性がある。また、当該メンバーの拠点の音が騒がしい場合、他の拠点にも騒がしい音が送信され、他の拠点で当該音が煩わしく感じられることが懸念される。

第１の変形例は、上記の懸念を克服するための工夫に関する。第１の変形例による音入力部２３２は、第１のマイクロフォン、および第１のマイクロフォンより収音範囲が制限される第２のマイクロフォンを含み、制御部２５０は、センシング部２３６により検出されるメンバーの位置に応じて、第１のマイクロフォンまたは第２のマイクロフォンを選択してもよい。具体的には、制御部２５０は、メンバーと通信装置２０との距離が閾値以上である場合には第１のマイクロフォンを選択し、メンバーと通信装置２０との距離が閾値未満である場合には第２のマイクロフォンを選択してもよい。そして、制御部２５０は、選択したマイクロフォンにより取得された音声の送信を制御してもよい。

かかる構成によれば、ある拠点の音が騒がしいことが推察される場合に、他の拠点に送信される音が制限されるので、他の拠点のメンバーがより対話に集中することが可能となる。なお、第１のマイクロフォンは無指向性のマイクロフォンであり、第２のマイクロフォンは指向性のマイクロフォンであってもよい。

（第２の変形例）
第２の変形例は、図６を参照して説明した音の出力態様の変形例である。以下、図８を参照し、第２の変形例による音の出力態様の遷移例を説明する。

図８に示したように、他の拠点の音の局所出力は、無指向性であって、通常出力よりも低い音量での音の出力であってもよい。また、他の拠点間で対面対話が行われており、自身の拠点が対面対話に参加していない場合には、対話音声を含む他の拠点の音が微小出力されてもよい（Ｓ４）。微小出力は、図８に示したように、例えば局所出力よりもさらに低い音量での音の出力であってもよい。

かかる構成によれば、他の拠点間で対面対話が行われており、自身の拠点が対面対話に参加していない場合、当該拠点のメンバーは、微かに、ただし耳障りにならない程度に対話音声を聞くことが可能となる。

なお、通信装置２０は、局所出力においては、通信装置２０に近づくメンバーの距離に応じて、段階的に出力音量を変化させてもよいし、指向性スピーカ２２４の利用を組み合わせてもよい。指向性スピーカ２２４の利用が組み合わされない場合には、通信装置２０の構成は、図２より指向性スピーカ２２４が除かれた構成となる。

＜５．ハードウェア構成＞
以上、本発明の実施形態を説明した。上述した音の出力制御および映像の表示制御などの情報処理は、ソフトウェアと、以下に説明する通信装置２０のハードウェアとの協働により実現され得る。

図９は、通信装置２０のハードウェア構成を示したブロック図である。通信装置２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３と、ホストバス２０４と、を備える。また、通信装置２０は、ブリッジ２０５と、外部バス２０６と、インタフェース２０７と、入力装置２０８と、表示装置２０９と、音声出力装置２１０と、ストレージ装置（ＨＤＤ）２１１と、ドライブ２１２と、ネットワークインタフェース２１５とを備える。

ＣＰＵ２０１は、演算処理装置および制御装置として機能し、各種プログラムに従って通信装置２０内の動作全般を制御する。また、ＣＰＵ２０１は、マイクロプロセッサであってもよい。ＲＯＭ２０２は、ＣＰＵ２０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ２０３は、ＣＰＵ２０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバス２０４により相互に接続されている。ＣＰＵ２０１、ＲＯＭ２０２およびＲＡＭ２０３とソフトウェアとの協働により、制御部２５０の機能が実現され得る。

ホストバス２０４は、ブリッジ２０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス２０６に接続されている。なお、必ずしもホストバス２０４、ブリッジ２０５および外部バス２０６を分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。

入力装置２０８は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、センサ、スイッチおよびレバーなどメンバーが情報を入力するための入力手段と、メンバーによる入力に基づいて入力信号を生成し、ＣＰＵ２０１に出力する入力制御回路などから構成されている。通信装置２０を利用するメンバーは、該入力装置２０８を操作することにより、通信装置２０に対して各種のデータを入力したり処理動作を指示したりすることができる。当該入力装置２０８は、例えば操作部２２１に対応する。

表示装置２０９は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、プロジェクター装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置およびランプなどの表示装置を含む。表示装置２０９は、例えば映像出力部２２０に対応する。また、音声出力装置２１０は、スピーカおよびヘッドホンなどの音声出力装置を含む。音声出力装置２１０は、例えば、音出力部２２２に対応する。

ストレージ装置２１１は、本実施形態にかかる通信装置２０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置２１１は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置２１１は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔｒａｇｅ Ｄｒｉｖｅ）、あるいは同等の機能を有するメモリ等で構成される。このストレージ装置２１１は、ストレージを駆動し、ＣＰＵ２０１が実行するプログラムや各種データを格納する。

ドライブ２１２は、記憶媒体用リーダライタであり、通信装置２０に内蔵、あるいは外付けされる。ドライブ２１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体２４に記録されている情報を読み出して、ＲＡＭ２０３またはストレージ装置２１１に出力する。また、ドライブ２１２は、リムーバブル記憶媒体２４に情報を書き込むこともできる。

ネットワークインタフェース２１５は、例えば、ネットワーク１２に接続するための通信デバイス等で構成された通信インタフェースである。また、ネットワークインタフェース２１５は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。

＜６．むすび＞
以上説明したように、本発明の実施形態によれば、ある拠点のメンバーが、他の拠点間で行われている対面対話の対話音声を煩わしく感じることなく、かつ、必要に応じて聞き取ることが可能である。従って、チームやプロジェクトのリーダーは、メンバー間のコミュニケーションがどのように行われているのか、どのような会話および情報交換を行っているのかを把握できるようになる。また、本発明の実施形態によれば、ある拠点のメンバーが当該拠点の通信装置２０に近づくことに基づいて局所出力が開始されるので、当該メンバーは移動以外に特段の操作を行わずに対話音声を聞き始めることが可能である。また、本発明の実施形態によれば、対面対話を行っているメンバーが持ち得る、他の拠点において自分たちに知られずに誰かが対話音声を聞いているかもしれないという不安を軽減することが可能である。

なお、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、上記では通信装置２０が同一の拠点において共用される共用端末であることを主に想定して説明をしたが、本実施形態による遠隔コミュニケーションシステムには、共用端末と個人用端末が混在してもよい。この場合であっても、本発明の実施形態による通信装置２０を共用端末として用いることが可能である。

また、上記では本発明の実施形態が遠隔オフィス間でのコミュニケーションに適用される例を説明したが、本発明の実施形態は、オフィスと非オフィス（例えば、工場、会議室、自宅）との間のコミュニケーションにも適用され得る。また、複数のチームやプロジェクトに跨って本発明の実施形態を共通利用することも可能である。

また、本明細書の通信装置２０の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、通信装置２０の処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。

また、通信装置２０に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアに、上述した通信装置２０の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。

２０ 通信装置
３０ セッション管理サーバ
２２０ 映像出力部
２２１ 操作部
２２２ 音出力部
２２３ 無指向性スピーカ
２２４ 指向性スピーカ
２２８ 映像入力部
２３２ 音入力部
２３６ センシング部
２４０ 通信部
２５０ 制御部

Claims (9)

1. 第１の通信装置および第２の通信装置と接続された通信装置であって、
   前記第１の通信装置から送信された第１の映像および第１の音、前記第２の通信装置から送信された第２の映像および第２の音を受信する通信部と、
   前記第１の映像および前記第２の映像を出力する映像出力部と、
   前記第１の音および前記第２の音を出力する音出力部と、
   ユーザを検出する検出部と、
   前記第１の通信装置を利用する第１のユーザと前記第２の通信装置を利用する第２のユーザとの対話が、前記第１の通信装置または前記第２の通信装置の一方からの対話要求の送信および他方による前記対話要求の受理により成立している間、前記第１の音および前記第２の音の前記音出力部による出力を、前記検出部による前記ユーザの検出の結果に基づいて制御し、
   前記第１のユーザと前記第２のユーザとの対話が成立していない間は前記音出力部に前記第１の音および前記第２の音を出力させる、制御部と、
   を備える、通信装置。
2. 前記制御部は、前記第１のユーザと前記第２のユーザの間での対話が成立している間、前記検出部により前記ユーザが検出されない場合には前記音出力部に前記第１の音および前記第２の音を出力させず、前記検出部により前記ユーザが検出された場合には前記音出力部に前記第１の音および前記第２の音を出力させる、請求項１に記載の通信装置。
3. 前記通信装置は、
   音を収音する音入力部と、
   撮像により映像を取得する映像入力部と、
   をさらに備え、
   前記音入力部により収音された前記音および前記映像入力部により取得された前記映像は前記第１の通信装置および前記第２の通信装置に送信され、
   前記制御部は、前記第１のユーザと前記第２のユーザとの対話に、前記第1の通信装置および前記第2の通信装置への対話要求の送信および当該対話要求の受理により前記ユーザが参加していない間は、前記対話に前記ユーザが参加している間よりも、前記第１の音および前記第２の音の到達範囲が制限されるように前記音出力部を制御する、請求項２に記載の通信装置。
4. 前記制御部は、前記対話に前記ユーザが参加していない間には、前記第１の音および前記第２の音の出力が指向性を有するように前記音出力部を制御し、前記対話に前記ユーザが参加している間には、前記第１の音および前記第２の音の出力が無指向性になるように前記音出力部を制御する、請求項３に記載の通信装置。
5. 前記検出部は、前記映像入力部の撮像範囲内の位置における前記ユーザの有無を検出する、請求項３に記載の通信装置。
6. 前記音入力部は、第１のマイクロフォン、および前記第１のマイクロフォンより収音範囲が制限される第２のマイクロフォンを含み、
   前記検出部は、前記ユーザの位置に関する検出を行い、
   前記制御部は、前記検出部による検出の結果に基づき前記第１のマイクロフォンまたは前記第２のマイクロフォンを選択し、選択したマイクロフォンにより取得された音声の送信を制御する、請求項３に記載の通信装置。
7. 前記制御部は、前記ユーザと前記通信装置の距離が閾値以上である場合に前記第１のマイクロフォンを選択し、前記ユーザと前記通信装置の距離が前記閾値未満である場合に前記第２のマイクロフォンを選択する、請求項６に記載の通信装置。
8. 第１の通信装置および第２の通信装置と接続された通信装置により実行される方法であって、
   前記第１の通信装置から送信された第１の映像および第１の音、前記第２の通信装置から送信された第２の映像および第２の音を受信することと、
   前記第１の映像および前記第２の映像を出力することと、
   前記第１の音および前記第２の音を出力することと、
   前記第１の通信装置を利用する第１のユーザと前記第２の通信装置を利用する第２のユーザとの対話が、前記第１の通信装置または前記第２の通信装置の一方からの対話要求の送信および他方による前記対話要求の受理により成立している間、前記第１の音および前記第２の音の出力を、前記通信装置が有する検出部によるユーザの検出の結果に基づいて制御することと、
   前記第１のユーザと前記第２のユーザとの対話が成立していない間は前記第１の音および前記第２の音を出力することと、を含む、方法。
9. コンピュータに、
   第１の通信装置および第２の通信装置と接続された通信装置により実行される方法であって、
   前記第１の通信装置から送信された第１の映像および第１の音、前記第２の通信装置から送信された第２の映像および第２の音を受信することと、
   前記第１の映像および前記第２の映像を出力することと、
   前記第１の音および前記第２の音を出力することと、
   前記第１の通信装置を利用する第１のユーザと前記第２の通信装置を利用する第２のユーザとの対話が、前記第１の通信装置または前記第２の通信装置の一方からの対話要求の送信および他方による前記対話要求の受理により成立している間、前記第１の音および前記第２の音の出力を、前記通信装置が有する検出部によるユーザの検出の結果に基づいて制御することと、
   前記第１のユーザと前記第２のユーザとの対話が成立していない間は前記第１の音および前記第２の音を出力することと、
   を含む、方法を実行させるための、プログラム。
   
   

Images