JPWO2008105252A1 - 常時接続型コミュニケーション装置及びその制御方法 - Google Patents

Abstract

本発明は、常時接続型コミュニケーションシステムに接続される常時接続型コミュニケーション装置において、ユーザーが、いつでも容易にコミュニケーションを開始することができるコミュニケーション装置と、その制御方法を実現する。
この発明は、２カ所以上の異なる地点に配置され、ネットワークを介して互いに画像情報及び音声情報を交換する常時接続型コミュニケーション装置において、人物を撮影する撮影手段と、画像表示手段と、音声入力手段と、音声出力手段と、前記撮影手段で撮影された顔画像の視線を検出する視線検出手段と、前記視線検出手段の検出結果に基づき、ネットワークに接続されている他の常時接続型コミュニケーション装置を特定して、コミュニケーション開始要求情報を送る制御手段とを有する常時接続型コミュニケーション装置であることを特徴とする。

Description

本発明は、２カ所以上の異なる地点に配置され、ネットワークを介して互いに画像情報及び音声情報を交換する常時接続型コミュニケーション装置と、その制御方法に関する。

互いに離れてた位置にあるオフィス間の情報交換を密に行うためのシステムとして、テレビ会議システムが知られている。

一般に、テレビ会議システムは、撮影手段であるカメラ、画像表示手段であるスクリーン又はモニタテレビ、音声入力手段であるマイクロフォン、音声出力手段であるスピーカ等を備えたコミュニケーション装置と、複数の前記コミュニケーション装置が接続されるネットワーク又はその他通信回線とから構成される。

典型的なテレビ会議システムにおいては、会議を開始する場合、先ず、会議に参加するコミュニケーション装置間で画像情報及び音声情報の交換ができる状態を確立する。

即ち、会議に使用するコミュニケーション装置に送られた呼び出し音に喚起されて行われる所定の操作によって、各装置が通信可能な状態に設定した後に会議を始める。

ところが最近、複数のコミュニケーション装置がネットワークを介して常に通信可能な接続状態にある常時接続型コミュニケーションシステムも多用されるようになってきた。

この常時接続型コミュニケーションシステムを利用することにより、ユーザーは、遠く離れたオフィス間の画像情報及び音声情報の交換を常時行うことができる。

この場合、設置されているコミュニケーション装置の画像表示手段には、接続先のコミュニケーション装置から送られる映像が表示されていることが多い。

このような常時接続型コミュニケーションシステムにおいては、ユーザーはコミュニケーションを行う必要が生じた場合、先ず、コミュニケーション対象である相手を特定し、相手を呼び出す操作を行う必要がある。

相手を呼び出す操作としては、予めコミュニケーションの対象とする複数の相手をサーバーの記憶部に登録しておき、相手を選択して呼び出しのための映像、音声を相手のコミュニケーション装置に送るというものが知られている（例えば、特許文献１又は２参照。）。

しかしながら、離れた地点にあり異なるオフィスに働くユーザーが、同じ場所の一つのオフィスで働いている場合のように、互いに気軽に迅速に情報交換を行おうとする時には、この様な操作手順は面倒なものである。
特開２００５−３４８１６１号公報 特開２００６−２８７８１６号公報

本発明は、上述したような状況に鑑みてなされたもので、その目的は、常時接続型コミュニケーションシステムに接続される常時接続型コミュニケーション装置において、ユーザーが、いつでも容易にコミュニケーションを開始することができるコミュニケーション装置と、その制御方法を実現することにある。

上記課題は、以下の発明を実現することにより達成される。

１．２カ所以上の異なる地点に配置され、ネットワークを介して互いに画像情報及び音声情報を交換する常時接続型コミュニケーション装置において、
人物を撮影する撮影手段と、
画像表示手段と、
音声入力手段と、
音声出力手段と、
前記撮影手段で撮影された顔画像の視線を検出する視線検出手段と、
前記視線検出手段の検出結果に基づき、ネットワークに接続されている他の常時接続型コミュニケーション装置を特定して、コミュニケーション開始要求情報を送る制御手段と
を有することを特徴とする常時接続型コミュニケーション装置。

２．前記視線検出手段は、前記撮影手段で撮影された画像中の顔画像が予め定めるサイズ以上の人物の視線を検出することを特徴とする１項に記載の常時接続型コミュニケーション装置。

３．前記視線検出手段は、前記撮影手段から予め定める距離内に存在する人物の視線を検出することを特徴とする１項に記載の常時接続型コミュニケーション装置。

４．前記制御手段は、
前記画像表示手段に、視線を導く画像を表示することを特徴とする１乃至３項のいずれか１項に記載の常時接続型コミュニケーション装置。

５．前記視線を導く画像は、ネットワークに接続されている他の常時接続型コミュニケーション装置を特定するものであることを特徴とする４項に記載の常時接続型コミュニケーション装置。

６．前記視線を導く画像は、グループ又は人物を特定するものであることを特徴とする４項に記載の常時接続型コミュニケーション装置。

７．前記制御手段は、
前記視線検出手段が、前記視線を導く画像に、予め定める一定時間以上継続して視線が注がれていることを検知したときに、ネットワークに接続されている他の常時接続型コミュニケーション装置にコミュニケーション開始要求情報を送ることを特徴とする４乃至６項のいずれか１項に記載の常時接続型コミュニケーション装置。

８．前記制御手段は、
前記視線検出手段の検出結果、又は他の常時接続型コミュニケーション装置から送られたコミュニケーション開始要求情報に基づき、
前記音声入力手段の音声入力感度、又は指向性を変更することを特徴とする１乃至７項のいずれか１項に記載の常時接続型コミュニケーション装置。

９．複数の音声入力手段を備え、
前記制御手段は、
前記視線検出手段の検出結果、又は他の常時接続型コミュニケーション装置から送られたコミュニケーション開始要求情報に基づき、
複数の前記音声入力手段の中から入力を受け付ける音声入力手段を選択することを特徴とする１乃至７項のいずれか１項に記載の常時接続型コミュニケーション装置。

１０．ネットワークを介して接続されている複数の常時接続型コミュニケーション装置を制御する制御方法であって、
前記複数の常時接続型コミュニケーション装置の各々に
人物を撮影する撮影手段と、
画像表示手段と、
前記撮影手段で撮影された顔画像の視線を検出する視線検出手段と、
を設け、
各常時接続型コミュニケーション装置は
ネットワークを介して接続されている他の常時接続型コミュニケーション装置又は前記他の常時接続型コミュニケーション装置を使用するグループや人物を特定する画像を前記画像表示手段に表示し、
前記視線検出手段の検出結果に基づき、コミュニケーション開始要求情報の送り先を決定することを特徴とする常時接続型コミュニケーション装置の制御方法。

本発明による常時接続型コミュニケーションシステムに接続される常時接続型コミュニケーション装置によって、異なる地点にあるオフィスに働くユーザーは、互いにいつでも容易にコミュニケーションを開始することができるようになる。

また、常時接続型コミュニケーション装置に、待機モードとコミュニケーションモードを設け、モードの切替に対応して装置の使用状態に適合した音声入力手段、音声出力手段の設定がなされるので、システムの使い勝手が向上する。

常時接続型コミュニケーションシステムの概念図である。 撮影手段及び画像表示手段とユーザーの視線との関係を説明する図である。 コミュニケーション開始要求処理の流れを示すフローチャートである。 画像表示手段に表示される画像例である。 コミュニケーション開始要求受付処理の流れを示すフローチャートである。

符号の説明

１ 撮影手段
２ 音声入力手段
３ 音声出力手段
４ 指示入力手段
５ 画像表示手段
２００ 視線検知手段
Ｄ（Ｄ１、Ｄ２） 常時接続型コミュニケーション装置
Ｎ ネットワーク
Ｐ 制御手段

以下、本発明の実施の形態の説明を図を基に行う。

図１は、常時接続型コミュニケーションシステムの概念図である。

常時コミュニケーションシステムは、ネットワークＮと、ネットワークに接続されている複数の常時接続型コミュニケーション装置Ｄとから構成される。

前記常時接続型コミュニケーション装置Ｄは、ＣＰＵを有する制御手段Ｐに各種入出力装置が接続されたコンピュータシステムであり、通信用インターフェイスＦを介して前記ネットワークＮに接続される。

前記制御手段Ｐには、撮影手段１、音声入力手段２、音声出力手段３、指示入力手段４、画像表示手段５等が接続されている。

撮影手段１は前記常時接続型コミュニケーション装置Ｄの前方を撮影するカメラであり、主要被写体までの距離を測定できるものが好ましい。

音声入力手段２は、音声を入力するマイクロフォンであり、指向性を可変できるものが好ましい。なお、音声入力手段２を複数設けて、これらを適宜に配置してもよい。

音声出力手段３はスピーカである。前記音声入力手段２と同様に、複数の音声出力手段３設けて、これらを適宜に配置してもよい。

指示入力手段４は一般に広く使用されるキーボードであり、コンピュータである制御手段Ｃへの指示入力を行う操作に用いられる。

画像表示手段５は、液晶等によるディスプレイ装置で、大型のものが臨場感の向上、使い勝手の向上の点で好ましい。

図１には、２台の常時接続型コミュニケーション装置Ｄ１、Ｄ２がネットワークＮに接続される常時接続型コミュニケーションシステムの例が示されている。

当然のことながら、ネットワークＮに接続される常時接続型コミュニケーション装置Ｄの台数は、２台に限定されるものではなく、用途に必要な台数が２カ所以上の異なる地点に配置される。

また、前記常時接続型コミュニケーション装置は、待機モードとコミュニケーションモードの二つのモードを有している。

待機モードとは、ユーザーが他のユーザーとのコミュニケーションを行っていない状態であり、単に撮影手段１により撮影されている画像を他の常時接続型コミュニケーション装置に送り、該装置の画像表示手段５に表示させるモードである。

コミュニケーションモードとは、ユーザーが各常時接続型コミュニケーション装置を介して他のユーザーとコミュニケーションを行っている状態のモードである。

図２は、常時接続型コミュニケーション装置Ｄ１の撮影手段１及び画像表示手段５とユーザーの視線との関係を説明する図である。

待機モードにある常時接続型コミュニケーション装置Ｄ１の画像表示手段５の画像表示部ＤＰ１には、常時接続型コミュニケーション装置Ｄ２の撮影手段により撮影されている画像が表示されている。

また、待機モードにおいては、コミュニケーションとは無関係な音が互いに装置間で交換されないように音声入力手段２からの入力信号は制御手段Ｐによって遮断され、あるいは入力レベルが抑えられている。

図に示すように、前記画像表示手段５の前記画像表示部ＤＰ１の予め定められた位置には、ユーザーの視線を導く画像である予め定められたサイズの画像（画像１）が表示されている。

画像１は、コミュニケーション相手となる他の常時接続型コミュニケーション装置Ｄ２を示す画像で、コミュニケーション相手となる常時接続型コミュニケーション装置を特定するために使用される。

なお、前記画像１は、オフィスやグループや人物を特定する画像としても良く、このような画像からコミュニケーション相手となる常時接続型コミュニケーション装置を特定するように構成しても良い。

画像１と同様の画像は、ネットワークＮに接続されている常時接続型コミュニケーション装置Ｄの数に対応して、図の画像１１、１２のように新たに設けることができる。なお、これらの画像は、画像をみる視線が接近しない位置に表示される。

なお、本例のように画像表示手段５の画像表示部ＤＰ１に画像１を表示する代わりに、図中の画像２１で示すように画像表示手段５の周辺に、画像１に相当する目印を設けてもよい。

なお、本例のように、ネットワークに接続される常時接続型コミュニケーション装置が２台の場合には、コミュニケーション開始要求の送り先の装置は互いに決まっている関係にある。

従って、このような場合には、待機モード中に相手から送られてくるオフィス内の画像を画像表示部ＤＰ１の一部、又は全体に表示して、表示されている画像を上述の画像１とすることができる。

画像表示手段５の前方を撮影する撮影手段１により撮影された画像は、画像中に人物の顔があるか否かが判定され、更に撮影された顔画像の視線が検知される。そして、検知された視線が前記画像１に注がれているものであるか否かが判定される。

上記した顔画像の検知及び視線の検知は、制御手段ＰのメモリＭに予め格納されているプログラムである顔画像検知手段１００、及び視線検知手段２００により行われる。

なお、これらの検知手段は、例えば特開２０００−２１７０９１号公報、特開２００６−１４１８６２に記されているような公知の技術からなるものである。

図３は、本発明の実施の形態の前記常時接続型コミュニケーション装置Ｄを用いたコミュニケーション開始要求処理１０の流れを示すフローチャートである。

撮影装置１により撮影された画像は制御手段Ｐに取り込まれ、顔画像検知手段１００によって画像中に顔画像が含まれるか否かが判定される（ステップＳ１）。

顔画像が含まれている場合には（ステップＳ１：Ｙ）、視線検知手段２００が実行されて、その顔画像の視線の検出が行われる（ステップＳ２）。

もし、検出された視線が前記画像表示手段５の画像表示部ＤＰ１に表示されている前記画像１に注がれているものであると判定された場合、即ち、人物が凝視している対象が前記画像１であった場合には（ステップＳ３：Ｙ）、タイマーにより、その視線が予め設定されている時間（Ｔ１）以上に継続したか否かが判定される（ステップＳ４）。

視線がＴ１以上継続して画像１に注がれていた場合には（ステップＳ４：Ｙ）、制御手段Ｐからコミュニケーション開始要求情報が、画像１に示される接続先の常時接続型コミュニケーション装置Ｄ２に送られる（ステップＳ５）。

次いで、制御手段Ｐは、常時接続型コミュニケーション装置Ｄ１を待機モードからコミュニケーションモードに切替え、対応する条件設定の変更を行う（ステップＳ６）。

なお、ステップ５とステップ６の順序を入れ替えて、ステップ１〜４による視線の検知がなされた場合、音声入力手段２，音声出力手段３の設定をコミュニケーションモードに対応させてから、コミュニケーション開始要求情報を送るようにしてもよい。

これは、コミュニケーション開始を要求しているユーザーが、音声により相手を呼びだす場合に有効なものである。

図４は、コミュニケーション開始要求情報を受けた常時接続型コミュニケーション装置Ｄ２の画像表示手段５に表示される画像例である。

なお、図に示すような画像表示と共に、常時接続型コミュニケーション装置Ｄ２の音声出力手段３には、予め定めた音や音声、又は常時接続型コミュニケーション装置Ｄ１の音声入力手段２から入力された音声が出力される。

また、図に示すように、画像表示部ＤＰの予め定められた位置には、ユーザーの視線を導く画像である予め定められたサイズの画像（画像２）が表示されている。

前記画像２は、コミュニケーション開始要求情報の送付元である常時接続型コミュニケーション装置Ｄ１の撮影手段１により撮影された顔画像としてもよい。

図５は、コミュニケーション開始要求受付処理２０の流れを示すフローチャートである。

ネットワークＮに接続されている常時接続型コミュニケーション装置Ｄ２が、常時接続型コミュニケーション装置Ｄ１から送られたコミュニケーション開始要求情報を受け取ると（ステップＳ１１：Ｙ）、該情報の到達を知らせる音声が出力され（ステップＳ１２）、同時に画像表示手段５の画像表示部ＤＰ１の所定の領域には常時接続型コミュニケーション装置Ｄ１からコミュニケーション開始要求情報が送られたことを示す画像と応答のための画像（図４、画像２）が表示される（ステップＳ１３）。

常時接続型コミュニケーション装置Ｄ２に人が接近して、顔画像が認識されると（ステップＳ１４）、その顔画像の視線の検出が行われる（ステップＳ１５）。

もし、検出された視線の向きが前記画像表示手段５の画像表示部ＤＰ１に表示されている画像２を見る向きであると判定された場合、即ち、人物が凝視している対象が画像２であった場合には（ステップＳ１６：Ｙ）、ソフトタイマーにより、その視線が予め設定されている時間（Ｔ２）以上に継続したか否かが判定される（ステップＳ１７）。

視線がＴ２以上継続して画像２に注がれていた場合には（ステップＳ１７：Ｙ）、常時接続型コミュニケーション装置Ｄ２の制御手段Ｐから、コミュニケーション開始要求を受け付ける「ＯＫ情報」が、コミュニケーション開始要求情報を送った常時接続型コミュニケーション装置Ｄ１に送られる（ステップＳ１８）。

次いで、制御手段Ｐは、モード切替手段３００によって待機モードからコミュニケーションモードへの切替を行い、対応する条件設定の変更を行う（ステップＳ１９）。

なお、図３のフローチャートと同様に、ステップ１８とステップ１９の順番は、入れ替えることができる。

以上、常時接続型コミュニケーション装置が待機モードからコミュニケーションモードに移行する流れを説明したが、以下、待機モードからコミュニケーションモードに移行したときに制御手段が行う設定変更について説明する。

待機モードでは、音声入力手段２から入力される音声信号は遮断されるか、又は信号レベルが抑制されるている。

コミュニケーションモードに移行すると、制御手段Ｐに格納されているプログラムである入力感度設定手段４００が実行されて、音声入力手段２から入力信号が会話に最適な信号レベルになるような設定がなされる。

なお、上述した信号レベルの設定変更以外に、指向性を可変できる音声入力手段を設けて、指向性の変更、例えば、指向幅を狭める、又は指向方向を変えるような設定変更をしてもよい。

このような設定変更によって、待機モードにあるときには広い方向からオフィス全体の音を拾うようにして、臨場感を持たせ、コミュニケーションモードに入った場合には視線を検知した人物の音声を中心に拾い、会話の明確化を図ることができる。

また、複数の音声入力手段を設けて、音声入力手段の選択した後に、各音声入力手段の信号レベルの設定変更を行うようにしてもよい。これは、複数の人物が会話に参加する場合に有効なものである。

上述したように本発明の実施の形態においては、撮影手段１により撮影された人物の視線を検出結果によって、常時接続型コミュニケーション装置Ｄのモードが切替えられる。

しかしながら、撮影手段１により撮影される人物が前記常時接続型コミュニケーション装置Ｄを使用して会話を行うことができる距離内に存在せず、遠く離れた位置に存在する人物である場合もある。

一般に、このような人物は、コミュニケーションを要求している人物ではないことから、視線の検出を行わず、モードの切替も行わないようにすることが好ましい。

具体的には、撮影手段１により撮影された人物の顔画像が、予め定めたサイズ以上の場合に視線検出をする、あるいは、顔画像の位置が予め定められた範囲、例えば撮影画像の中心部に設けた所定の領域にある場合のみ視線検出をするようにすることが好ましい。

その他、コスト高にはなるが、撮影手段１に又はその近傍に撮影手段１から人物までの距離を検出する距離検知手段を設けて、予め設定した距離以内に存在する人物の視線を検出するようにしてもよい。

また、常時接続型コミュニケーション装置Ｄからコミュニケーション開始要求情報を送っても、予め設定する時間内に相手から「ＯＫ情報」が送られてこない場合もある。

このような場合には、所定のメッセージを画像表示手段５に表示して、待機モードに戻るようにしてもよい。

以上、説明したように、本発明の常時接続型コミュニケーション装置によって、異なる地点にあるオフィスに働くユーザーは、コミュニケーション開始のための操作を行うことなく、互いにいつでも容易にコミュニケーションを開始させることができるようになる。

また、常時接続型コミュニケーション装置に、待機モードとコミュニケーションモードを設け、モードの切替に対応して装置の使用状態に適合した音声入力手段、音声出力手段の設定がなされる。

従って、待機時の無用な音声や騒音の送受が防止され、コミュニケーションを行う際には、対応するコミュニケーションに適した送受の設定がなされることから、使い勝手の良いシステムが実現される。

Claims (10)

1. ２カ所以上の異なる地点に配置され、ネットワークを介して互いに画像情報及び音声情報を交換する常時接続型コミュニケーション装置において、
   人物を撮影する撮影手段と、
   画像表示手段と、
   音声入力手段と、
   音声出力手段と、
   前記撮影手段で撮影された顔画像の視線を検出する視線検出手段と、
   前記視線検出手段の検出結果に基づき、ネットワークに接続されている他の常時接続型コミュニケーション装置を特定して、コミュニケーション開始要求情報を送る制御手段と
   を有することを特徴とする常時接続型コミュニケーション装置。
2. 前記視線検出手段は、前記撮影手段で撮影された画像中の顔画像が予め定めるサイズ以上の人物の視線を検出することを特徴とする請求の範囲第１項に記載の常時接続型コミュニケーション装置。
3. 前記視線検出手段は、前記撮影手段から予め定める距離内に存在する人物の視線を検出することを特徴とする請求の範囲第１項に記載の常時接続型コミュニケーション装置。
4. 前記制御手段は、
   前記画像表示手段に、視線を導く画像を表示することを特徴とする請求の範囲第１項乃至第３項のいずれか１項に記載の常時接続型コミュニケーション装置。
5. 前記視線を導く画像は、ネットワークに接続されている他の常時接続型コミュニケーション装置を特定するものであることを特徴とする請求の範囲第４項に記載の常時接続型コミュニケーション装置。
6. 前記視線を導く画像は、グループ又は人物を特定するものであることを特徴とする請求の範囲第４項に記載の常時接続型コミュニケーション装置。
7. 前記制御手段は、
   前記視線検出手段が、前記視線を導く画像に、予め定める一定時間以上継続して視線が注がれていることを検知したときに、ネットワークに接続されている他の常時接続型コミュニケーション装置にコミュニケーション開始要求情報を送ることを特徴とする請求の範囲第４項乃至第６項のいずれか１項に記載の常時接続型コミュニケーション装置。
8. 前記制御手段は、
   前記視線検出手段の検出結果、又は他の常時接続型コミュニケーション装置から送られたコミュニケーション開始要求情報に基づき、
   前記音声入力手段の音声入力感度、又は指向性を変更することを特徴とする請求の範囲第１項乃至第７項のいずれか１項に記載の常時接続型コミュニケーション装置。
9. 複数の音声入力手段を備え、
   前記制御手段は、
   前記視線検出手段の検出結果、又は他の常時接続型コミュニケーション装置から送られたコミュニケーション開始要求情報に基づき、
   複数の前記音声入力手段の中から入力を受け付ける音声入力手段を選択することを特徴とする請求の範囲第１項乃至第７項のいずれか１項に記載の常時接続型コミュニケーション装置。
10. ネットワークを介して接続されている複数の常時接続型コミュニケーション装置を制御する制御方法であって、
    前記複数の常時接続型コミュニケーション装置の各々に
    人物を撮影する撮影手段と、
    画像表示手段と、
    前記撮影手段で撮影された顔画像の視線を検出する視線検出手段と、
    を設け、
    各常時接続型コミュニケーション装置は
    ネットワークを介して接続されている他の常時接続型コミュニケーション装置又は前記他の常時接続型コミュニケーション装置を使用するグループや人物を特定する画像を前記画像表示手段に表示し、
    前記視線検出手段の検出結果に基づき、コミュニケーション開始要求情報の送り先を決定することを特徴とする常時接続型コミュニケーション装置の制御方法。