JP7035613B2 - コミュニケーション装置、コミュニケーション方法、コミュニケーションプログラム及びコミュニケーションシステム - Google Patents

Description

本発明は、コミュニケーション装置、コミュニケーション方法、コミュニケーションプログラム及びコミュニケーションシステムに関するものである。

従来、画像による遠隔コミュニケーションが可能なコミュニケーションシステムがある。このコミュニケーションシステムは、例えば、撮像部と表示部とを有する２台以上のコミュニケーション装置により構成され、各コミュニケーション装置が、撮像部で撮像した自ユーザの画像（つまり顔画像）を、コミュニケーション相手となる他ユーザのコミュニケーション装置へ送信するとともに、他ユーザのコミュニケーション装置から送信されてくる他ユーザの画像（つまり顔画像）を受信して表示部に表示するようになっている。

また、このようなコミュニケーションシステムとして、撮像部で撮像した自ユーザの顔画像を自動的に加工して疑似的に自ユーザの視線を他ユーザに合わせる画像加工機能を有するもの（例えば特許文献１参照）や、撮像部で撮像した自ユーザの顔画像を自動的に加工して疑似的に自ユーザの顔にメイクアップ（化粧）を施す画像加工機能を有するものなどが知られている。

特開平１０－７５４３２号公報

しかしながら、従来のコミュニケーションシステムでは、上述のような画像加工機能をユーザが利用する場合、ユーザがコミュニケーション装置のモニタに表示させた設定画面上で、複数の機能の中から画像加工機能を選択して有効化しなければならず、ユーザが容易且つ迅速に画像加工機能を利用できるようになっているとは言い難かった。換言すれば、映像コミュニケーションシステムにおいて、より簡単な操作で、画像加工機能を利用できるようになれば、ユーザビリティ（使い勝手）を向上させることができると考えられる。

本発明は以上の点を考慮したものであり、従来と比べてユーザビリティを向上させたコミュニケーション装置、コミュニケーション方法、コミュニケーションプログラム及びコミュニケーションシステムを提案しようとするものである。

本発明は、通信部が、自ユーザのコミュニケーション相手となる他ユーザのコミュニケーション装置に、撮像部により撮像された前記自ユーザの画像を送信し、表示部が、前記通信部により受信された、前記他ユーザのコミュニケーション装置から送信されてくる前記他ユーザの画像を表示し、制御部が、視線方向検出部により検出された前記自ユーザの視線の方向が前記撮像部への方向である状態のまま所定時間経過すると、前記撮像部により撮像された前記自ユーザの画像を加工したうえで前記他ユーザのコミュニケーション装置に送信する画像加工機能を有効化し、画像処理部が、前記制御部によって前記画像加工機能が有効化されている場合に、前記撮像部により撮像された前記自ユーザの画像を加工するようにした。

こうすることで、本発明は、ユーザが自分の視線を所定方向に向けるだけの簡単な操作で、コミュニケーション相手に送信するユーザの画像を加工する画像加工機能を有効化することができる。

かくして本発明は、従来と比べてユーザビリティを向上させたコミュニケーション装置、コミュニケーション方法、コミュニケーションプログラム及びコミュニケーションシステムを実現できる。

コミュニケーションシステムの全体構成を示す図である。 コミュニケーション装置の機能構成を示すブロック図である。 ユーザがマイクスピーカ付きカメラに視線を向けている様子と、そのとき相手側のコミュニケーション装置に表示されるユーザの顔画像を示す図である。 ユーザがマイクスピーカ付きカメラから視線を外している様子と、そのとき相手側のコミュニケーション装置に表示されるユーザの顔画像を示す図である。 視線一致機能有効化処理手順を示すフローチャートである。

以下、発明を実施するための形態（以下、これを実施の形態と呼ぶ）について、図面を用いて詳細に説明する。

[１．コミュニケーションシステムの全体構成］
まず図１を用いて、本実施の形態によるコミュニケーションシステム１の全体構成の概要について説明する。このコミュニケーションシステム１は、インターネットなどのネットワークＮＴを介して接続された２台のコミュニケーション装置２Ａ、２Ｂにより構成されている。このコミュニケーションシステム１は、ユーザＡとユーザＢが、それぞれコミュニケーション装置２Ａとコミュニケーション装置２Ｂを用いて遠隔コミュニケーションを行う、所謂１対１の対面型コミュニケーションシステムである。

ユーザＡのコミュニケーション装置２Ａは、モニタ３Ａとマイクスピーカ付きカメラ４Ａと有していて、マイクスピーカ付きカメラ４Ａにより撮像したユーザ（つまり自ユーザ）Ａの動画像と、マイクスピーカ付きカメラ４Ａにより収音した音声を、ネットワークＮＴを介してユーザ（つまり他ユーザ）Ｂのコミュニケーション装置２Ｂに送信する。また、コミュニケーション装置２Ａは、ネットワークＮＴを介してコミュニケーション装置２Ｂから受信した動画像をモニタ３Ａに表示するとともに、コミュニケーション装置２Ｂから受信した音声をマイクスピーカ付きカメラ４Ａから出力する。

ユーザＢのコミュニケーション装置２Ｂも同様に、モニタ３Ｂとモニタ３Ｂの上部に設けられたマイクスピーカ付きカメラ４Ｂとを有していて、マイクスピーカ付きカメラ４Ｂにより撮像したユーザ（つまり自ユーザ）Ｂの動画像と、マイクスピーカ付きカメラ４Ｂにより収音した音声を、ネットワークＮＴを介してユーザ（つまり他ユーザ）Ａのコミュニケーション装置２Ａに送信する。また、コミュニケーション装置２Ｂは、ネットワークＮＴを介してコミュニケーション装置２Ａから受信した動画像をモニタ３Ｂに表示するとともに、コミュニケーション装置２Ａから受信した音声をマイクスピーカ付きカメラ４Ｂから出力する。コミュニケーションシステム１の全体構成は、以上のようになっている。

[２．コミュニケーション装置の機能構成］
次に図２を用いて、コミュニケーション装置２Ａ、２Ｂの機能構成について説明する。尚、コミュニケーション装置２Ａ、２Ｂは同一構成のため、ここでは主に、コミュニケーション装置２Ａの機能構成について説明する。

コミュニケーション装置２Ａは、モニタ３Ａ及びマイクスピーカ付きカメラ４Ａにくわえて、コミュニケーション装置２Ａを操作するための入力デバイス５Ａと、モニタ３Ａ、マイクスピーカ付きカメラ４Ａ、及び入力デバイス５Ａと接続される本体部６Ａとを有している。モニタ３Ａは、表示部であり、本体部６Ａから送られてくる動画像データ（例えばユーザＢの顔画像を含んでいる動画像データ）に基づく動画像を表示する。

マイクスピーカ付きカメラ４Ａは、モニタ３Ａ上端部の左右方向中央に取り付けられていて、撮像部１０と、マイクロホン部１１と、スピーカ部１２とを有している。撮像部１０は、モニタ３Ａの前方に向けられ、モニタ３Ａの前方を撮像して動画像データ（例えばユーザＡの顔画像を含んでいる動画像データ）を得る。マイクロホン部１１は、モニタ３Ａの前方に向けられていて、モニタ３Ａ周辺の音声を収音して音声データ（例えばユーザＡの音声を含んでいる音声データ）を得る。撮像部１０とマイクロホン部１１により得られた動画像データと音声データは、マイクスピーカ付きカメラ４Ａから本体部６Ａへと送られる。スピーカ部１２は、モニタ３Ａの前方に向けられていて、本体部６Ａから送られてくる音声データ（例えばユーザＢの音声を含んでいる音声データ）に基づく音声を出力する。

入力デバイス５Ａは、マウス、キーボード、モニタ３Ａに内蔵されるタッチパネルなどの操作部であり、入力デバイス５Ａに対するユーザ操作を操作入力データとして、本体部６Ａに送る。

本体部６Ａは、モニタ接続部１３、カメラ接続部１４、入力デバイス接続部１５、通信部１６、制御部１７、記憶部１８、画像処理部１９を有している。モニタ接続部１３は、ＨＤＭＩ（登録商標）（High Definition Multimedia Interface）ケーブルなどの有線によりモニタ３Ａと接続される部分である。カメラ接続部１４は、ＵＳＢケーブルなどの有線もしくはＢｌｕｅｔｏｏｔｈ（登録商標）などの無線によりマイクスピーカ付きカメラ４Ａと接続される部分である。入力デバイス接続部１５は、ＵＳＢケーブルなどの有線もしくはＢｌｕｅｔｏｏｔｈ（登録商標）などの無線により入力デバイス５Ａと接続される部分である。通信部１６は、有線通信もしくは無線通信によりネットワークＮＴを介してコミュニケーション装置２Ｂと通信する部分である。

制御部１７は、記憶部１８に記憶されているプログラムを読み出して実行することで、コミュニケーション装置２Ａ全体を制御して各種処理を実行するとともに、入力デバイス５Ａから得られる操作入力データをもとにユーザ操作を認識する部分である。さらにこの制御部１７は、ユーザＡの視線の方向を検出する視線方向検出部１７Ｉｔとしても機能する。視線方向検出部１７Ｉｔは、マイクスピーカ付きカメラ４Ａから得られる動画像データ（つまりユーザＡの顔画像を含んでいる動画像データ）をもとに、視線追跡（アイトラッキング）技術を用いて、ユーザＡの視線の方向を検出する。因みに、視線方向検出部１７Ｉｔでは、顔画像解析によるアイトラッキング技術を用いている。顔画像解析によるアイトラッキング技術は、様々な方法が提案されているが、例えば、人間の顔画像から目の部分を特定し、さらに目の部分から、視線を変える際に動かない基準点（例えば目頭）と、視線を変える際に動く動点（例えば瞳孔）とを特定し、基準点に対する動点の位置から、視線の方向を検出するようになっている。

さらにこの制御部１７は、視線方向検出部１７Ｉｔによって得られるユーザＡの視線の方向をもとに、ユーザＡの視線がマイクスピーカ付きカメラ４Ａへと向けられているのか、もしくはマイクスピーカ付きカメラ４Ａ以外へと向けられているのかを判定するようになっている。さらにこの制御部１７は、ユーザＡの視線がマイクスピーカ付きカメラ４Ａへと向けられている状態が所定時間続くと、視線一致機能を有効化するようになっている。ここで、視線一致機能について簡単に説明する。

コミュニケーションシステム１では、図３（Ａ）に示すように、ユーザＡが、コミュニケーション装置２Ａのマイクスピーカ付きカメラ４Ａに視線を向けている場合、図３（Ｂ）に示すように、コミュニケーション装置２Ｂ側のモニタ３Ｂには、ユーザＡの顔画像がユーザＢに視線を向けているように表示される。ここで、ユーザＢも同様に、コミュニケーション装置２Ｂのマイクスピーカ付きカメラ４Ｂに視線を向けていれば、コミュニケーション装置２Ａ側のモニタ３Ａには、ユーザＢの顔画像がユーザＡに視線を向けているように表示される。このとき、ユーザＡとユーザＢの視線が一致することになり、互いに目を見てコミュニケーションすることになる。

一方で、図４（Ａ）に示すように、コミュニケーション装置２Ａでは、マイクスピーカ付きカメラ４Ａがモニタ３Ａの表示領域外に位置することから、例えばユーザＡがモニタ３Ａに表示されているユーザＢの顔画像を見ようとしてモニタ３Ａの表示領域内へと視線を向けると、ユーザＡの視線がマイクスピーカ付きカメラ４Ａから外れてしまう。この場合、図４（Ｂ）に示すように、コミュニケーション装置２Ｂ側のモニタ３Ｂには、ユーザＡの顔画像がユーザＢから視線を外しているように表示される。同様に、ユーザＢの視線がコミュニケーション装置２Ｂのマイクスピーカ付きカメラ４Ａから外れた場合、コミュニケーション装置２Ａ側のモニタ３Ａには、ユーザＢの顔画像がユーザＡから視線を外しているように表示される。

このように、コミュニケーションシステム１では、ユーザＡの視線がマイクスピーカ付きカメラ４Ａから外れると、もしくはユーザＢの視線がマイクスピーカ付きカメラ４Ｂから外れると、ユーザＡとユーザＢの視線が一致しなくなる。そこで、コミュニケーション装置２Ａは、ユーザＡの視線がマイクスピーカ付きカメラ４Ａから外れても、マイクスピーカ付きカメラ４Ａで撮像したユーザＡの顔画像を、視線がマイクスピーカ付きカメラ４Ａへと向くように加工したうえでコミュニケーション装置２Ｂに送信する機能を有している。この機能を、視線一致機能と呼んでいる。

尚、ここでは、ユーザＡの視線がマイクスピーカ付きカメラ４Ａに向いている場合に、コミュニケーション装置２Ｂ側のモニタ３Ｂに、ユーザＡの顔画像がユーザＢに視線を向けているように表示されるとしたが、より厳密には、ユーザＡの視線がマイクスピーカ付きカメラ４Ｂの前面中央部に位置する撮像部１０に向いている場合に、コミュニケーション装置２Ｂ側のモニタ３Ｂに、ユーザＡの顔画像がユーザＢに視線を向けているように表示される。よって、視線一致機能では、マイクスピーカ付きカメラ４Ａで撮像したユーザＡの顔画像を、ユーザＡの視線がマイクスピーカ付きカメラ４Ａの撮像部１０へと向くように加工することが望ましい。このような視線一致機能は、コミュニケーション装置２Ａだけでなく、コミュニケーション装置２Ｂ側にも設けられている。

ここで、図２に戻り、コミュニケーション装置２Ａの機能構成の説明をつづける。記憶部１８は、制御部１７により実行される各種プログラムなどを記憶する部分である。画像処理部１９は、マイクスピーカ付きカメラ４Ａから得られる動画像データ（つまりユーザＡの顔画像を含んでいる動画像データ）を、画像処理によって加工することで視線一致機能を実現する部分である。具体的に、この画像処理部１９は、視線方向検出部１７Ｉｔにより検出されたユーザＡの視線の方向をもとに、ユーザＡの視線がマイクスピーカ付きカメラ４Ａから所定量以上外れたことを認識すると、マイクスピーカ付きカメラ４Ａから得られる動画像データに含まれているユーザＡの顔画像の目の部分に、記憶部１８に記憶されている、視線がマイクスピーカ付きカメラ４Ａへと向けられているときに得られたユーザＡの目の画像（これを基準画像と呼ぶ）を合成することで、疑似的にユーザＡの視線がマイクスピーカ付きカメラ４Ａへと向けられた動画像データを生成する。尚、コミュニケーション装置２Ａでは、例えば、初期設定時に、視線をマイクスピーカ付きカメラ４Ａへ向けるようユーザＡに促すようになっていて、このときマイクスピーカ付きカメラ４Ａで撮像したユーザＡの顔画像から目の部分を抽出して、これを基準画像として記憶部１８に記憶するようになっている。

そして、画像処理部１９により生成された動画像データ（つまり視線がマイクスピーカ付きカメラ４Ａへと向くように加工されたユーザＡの顔画像を含んでいる動画像データ）が、通信部１６を介して、コミュニケーション装置２Ｂへと送信される。これにより、コミュニケーション装置２Ｂのモニタ３Ｂには、視線がユーザＢへと向けられているユーザＡの顔画像が表示されることになる。

尚、画像処理部１９は、視線一致機能が有効化されている場合にのみ、マイクスピーカ付きカメラ４Ａから得られた動画像データを加工するようになっている。つまり、制御部１７は、視線一致機能が無効化されている場合、マイクスピーカ付きカメラ４Ａから得られた動画像データを、画像処理部１９で加工せずに、通信部１６を介して、コミュニケーション装置２Ｂへと送信するようになっている。コミュニケーション装置２Ａの機能構成は、以上のようになっている。

コミュニケーション装置２Ｂの機能構成も、コミュニケーション装置２Ａと同様、モニタ３Ｂ及びマイクスピーカ付きカメラ４Ｂにくわえて、コミュニケーション装置２Ｂを操作するための入力デバイス５Ｂと、モニタ３Ｂ、マイクスピーカ付きカメラ４Ｂ、及び入力デバイス５Ｂと接続される本体部６Ｂとを有している。コミュニケーション装置２Ｂの機能構成は、以上のようになっている。

ここで、コミュニケーション装置２Ａ、２Ｂ間で行われるコミュニケーション動作の一例について簡単に説明する。例えば、コミュニケーション装置２Ａの制御部１７は、入力デバイス５Ａに対するユーザ操作により、コミュニケーションを開始するよう指示されると、モニタ３Ａ上に、コミュニケーションに関する各種アイコンが表示されたコミュニケーションウインドウ（図示せず）を表示させる。ここで、コミュニケーション装置２Ａの制御部１７は、ユーザ操作により、コミュニケーションウインドウ上の呼出アイコンが押下操作されると、通信部１６を制御して、コミュニケーション装置２Ｂに対する呼出処理を実行する。この結果、コミュニケーション装置２Ｂに対して応答要求が送信される。

コミュニケーション装置２Ｂの制御部１７は、通信部１６を介してコミュニケーション装置２Ａからの応答要求を受信すると、モニタ３Ｂ上に、コミュニケーションウインドウ（図示せず）を表示させるとともに、このコミュニケーションウインドウ上に、ユーザＡから呼び出されている旨を示す情報を表示させる。ここで、コミュニケーション装置２Ｂの制御部１７は、ユーザ操作により、コミュニケーションウインドウ上の応答アイコンが押下操作されると、通信部１６を制御して、コミュニケーション装置２Ａとの通信接続処理を実行する。この結果、コミュニケーション装置２Ａとコミュニケーション装置２Ｂとの通信接続が確立され、コミュニケーション装置２Ａ、２Ｂ間で通信可能な状態となる。そして、コミュニケーション装置２Ａ、２Ｂ間で動画像データと音声データの送受信が開始されることにより、ユーザＡ、Ｂ間でのコミュニケーションが開始される。

その後、例えば、コミュニケーション装置２ＡのユーザＡが、入力デバイス５Ａを介して、コミュニケーションウインドウ上の終了アイコンを押下操作したとする。すると、コミュニケーション装置２Ａの制御部１７は、通信部１６を制御して、コミュニケーション装置２Ｂとの通信接続解除処理を実行する。この結果、コミュニケーション装置２Ａとコミュニケーション装置２Ｂとの通信接続が解除され、コミュニケーション装置２Ａ、２Ｂ間の通信が終了することにより、ユーザＡ、Ｂ間のコミュニケーションも終了する。コミュニケーション装置２Ａ、２Ｂ間で行われるコミュニケーション動作は、以上のようになっている。

[３．視線一致機能の有効化］
次に、視線一致機能を有効化する処理（以下、これを視線一致機能有効化処理と呼ぶ）の手順について、図５に示すフローチャートを用いて説明する。この視線一致機能有効化処理は、コミュニケーション装置２Ａとコミュニケーション装置２Ｂとで別々に行われるが、その手順は同一のため、ここでは、コミュニケーション装置２Ａ側で行われる視線一致機能有効化処理についてのみ説明する。尚、この視線一致機能有効化処理は、制御部１７が記憶部１８から読み出したプログラムに基づいて実行する処理である。

コミュニケーション装置２Ａの制御部１７は、上述したコミュニケーション動作によって、コミュニケーション装置２Ｂとの通信接続が確立され、コミュニケーション装置２Ｂとの間で動画像データ及び音声データの送受信が可能な状態（つまり通信可能な状態）になると、視線一致機能有効化処理を開始して、ステップＳＰ１に移る。尚、視線一致機能は、初期設定として無効化されている。ゆえに、この時点、つまりコミュニケーション装置２Ａが、コミュニケーション装置２Ｂと通信可能な状態になった時点では、制御部１７により無効化されている。

ステップＳＰ１において、制御部１７は、コミュニケーション装置２Ｂとの間で、動画像データ及び音声データの送受信を開始する。つまりこの時点から、ユーザＡ、Ｂ間のコミュニケーションが開始される。

つづくステップＳＰ２において、制御部１７は、視線方向検出部１７Ｉｔによって得られたユーザＡの視線の方向をもとに、ユーザＡの視線がマイクスピーカ付きカメラ４Ａへと向けられているか否かを判定する。ここで、ユーザＡの視線がマイクスピーカ付きカメラ４Ａへと向けられている場合、制御部１７は、ステップＳＰ２で肯定結果を得て、ステップＳＰ３に移る。

ステップＳＰ３において、制御部１７は、ユーザＡの視線がマイクスピーカ付きカメラ４Ａへと向けられている状態のまま所定時間（例えば５秒）経過したか否かを判定する。ここで、ユーザＡの視線がマイクスピーカ付きカメラ４Ａへと向けられている状態のまま所定時間した場合、つまりユーザＡがマイクスピーカ付きカメラ４Ａを所定時間見つめつづけた場合、制御部１７は、ステップＳＰ３で肯定結果を得て、ステップＳＰ４に移る。

ステップＳＰ４において、制御部１７は、視線一致機能を有効化するとともに、このとき視線一致機能を有効化した旨を示す情報を、モニタ３Ａに表示させる。これにより、ユーザＡは、視線一致機能が有効化されたと認識することができる。また、視線一致機能が有効化されたことにより、これ以降、コミュニケーション装置２Ａからコミュニケーション装置２Ｂへと送信される動画像データは、画像処理部１９によりユーザＡの視線がマイクスピーカ付きカメラ４Ａへと向くように加工された動画像データ、つまりユーザＡの視線がユーザＢへと向くように加工された動画像データとなる。制御部１７は、このように視線一致機能を有効化した後、ステップＳＰ５に移る。

一方で、ユーザＡの視線がマイクスピーカ付きカメラ４Ａへと向けられていない場合、制御部１７は、ステップＳＰ２で否定結果を得て、視線一致機能を有効化せずに、ステップＳＰ５に移る。また、制御部１７は、ユーザＡの視線がマイクスピーカ付きカメラ４Ａへと向けられている状態のまま所定時間経過する前に、ユーザＡの視線がマイクスピーカ付きカメラ４Ａから外れた場合、ステップＳＰ３で否定結果を得て、視線一致機能を有効化せずに、ステップＳＰ５に移る。

ステップＳＰ５において、制御部１７は、コミュニケーション装置２Ａ、２Ｂ間の接続が解除されたかどうか（つまり通信が終了したかどうか）を判定する。ここで、接続が解除されてなく、ユーザＡ、Ｂ間でのコミュニケーションがつづいている場合、制御部１７は、このステップＳＰ５で否定結果を得て、ステップＳＰ２に戻る。尚、このとき、視線一致機能が無効化されている場合にのみ、制御部１７がステップＳＰ２に戻るようにし、既に有効化されている場合には、ステップＳＰ２に戻らず、コミュニケーション装置２Ａ、２Ｂ間の接続が解除されるのを待ち受けるようにしてもよい。

これに対して、コミュニケーション装置２Ａ、２Ｂ間の接続が解除され、ユーザＡ、Ｂ間でのコミュニケーションが終了した場合、制御部１７は、ステップＳＰ５で肯定結果を得て、ステップＳＰ６に移る。ステップＳＰ６において、制御部１７は、視線一致機能が無効化されている場合にはそのまま、有効化されている場合には無効化して、視線一致機能有効化処理を終了する。視線一致機能有効化処理の手順は、以上のようになっている。

[４．まとめと効果］
ここまで説明したように、コミュニケーションシステム１では、コミュニケーション装置２Ａとコミュニケーション装置２Ｂの両方に視線一致機能を設けた。そのうえで、例えば、コミュニケーション装置２Ａでは、ユーザＡの視線の方向に基づいて、視線一致機能を有効化するようにした。すなわち、コミュニケーション装置２Ａは、ユーザＡがマイクスピーカ付きカメラ４Ａを所定時間見つめつづけると、視線一致機能を有効化するようにした。

このように、コミュニケーション装置２Ａでは、マイクスピーカ付きカメラ４Ａを所定時間見つめつづけるという簡単な操作で、視線一致機能を有効化することができるので、例えば、設定画面上で視線一致機能を選択して有効化するような操作をしなければならないコミュニケーション装置と比べて、ユーザビリティ（使い勝手）を向上させることができる。

また、コミュニケーション装置２Ａでは、視線一致機能と、視線一致機能を有効化する操作（つまりマイクスピーカ付きカメラ４Ａに視線を向ける操作）とが、ともに視線に関連していることから、ユーザＡにとって、マイクスピーカ付きカメラ４Ａに視線を向ける操作が、視線一致機能を有効化する操作であると、直感的で分かり易いという利点も有している。

さらに、コミュニケーション装置２Ａでは、コミュニケーション装置２Ｂと通信接続が確立され、コミュニケーション装置２Ｂとの間で通信可能な状態にあるときに、ユーザＡがマイクスピーカ付きカメラ４Ａを所定時間見つめつづけると、視線一致機能を有効化するようにした。こうすることで、コミュニケーションシステム１では、コミュニケーション装置２Ａで視線一致機能を有効化すると、コミュニケーション装置２Ｂ側のモニタ３Ｂに表示されているユーザＡの顔画像を、直ちにユーザＢへと視線を向けた状態に遷移させることができる。

さらに、コミュニケーション装置２Ａでは、コミュニケーション装置２Ｂとの通信開始時には、視線一致機能が無効化されていて、視線一致機能が有効化された場合でも、コミュニケーション装置２Ｂとの通信終了時に、自動的に視線一致機能を無効化するようにした。こうすることで、コミュニケーション装置２Ａでは、コミュニケーション装置２Ｂと通信可能な状態にあり、且つ視線一致機能が必要な場合にのみ、視線一致機能を有効化することができる。

例えば、ユーザＡが、常にマイクスピーカ付きカメラ４Ａを見ながら、ユーザＢとコミュニケーションするのであれば、視線一致機能は必要とならない。また、ユーザＡとユーザＢがそもそも視線を一致させるほど親密な関係ではない場合、視線一致機能は必ずしも必要とならない。一方で、モニタ３Ａに別途表示させた資料を見ながらユーザＢとコミュニケーションするような場合、視線一致機能が必要となってくる。コミュニケーション装置２Ａは、必要に応じて視線一致機能を容易に有効化できるので、上述したような様々な状況に、迅速且つ容易に対応することができる。

［５．他の実施の形態］
［５－１．他の実施の形態１］
尚、上述した実施の形態では、コミュニケーション装置２Ａに、マイクスピーカ付きカメラ４Ａで撮像したユーザＡの顔画像を加工して疑似的にユーザＡの視線をマイクスピーカ付きカメラ４Ａへと向ける（つまりユーザＢへと向ける）視線一致機能を設けるようにした。これに限らず、コミュニケーション装置２Ａに、マイクスピーカ付きカメラ４Ａで撮像したユーザＡの顔画像を加工して疑似的にユーザＡの顔にメイクアップを施すメイクアップ機能を、視線一致機能の代わりに設けるようにしてもよい。

この場合、画像処理部１９は、マイクスピーカ付きカメラ４Ａで撮像されたユーザＡの顔画像に、記憶部１８に記憶されているメイクアップ画像を合成することで、疑似的にユーザＡの顔にメイクアップが施された動画像データを生成する。そして、画像処理部１９により生成された動画像データ（つまりメイクアップされたように加工されたユーザＡの顔画像を含んでいる動画像データ）が、通信部１６を介して、コミュニケーション装置２Ｂへと送信される。これにより、コミュニケーション装置２Ｂのモニタ３Ｂには、メイクアップされたユーザＡの顔画像が表示されることになる。尚、このメイクアップ機能についても、ユーザＡがマイクスピーカ付きカメラ４Ａを所定時間見つめつづけることで、有効化されるようにすればよい。

またこの場合、記憶部１８に、複数種類のメイクアップ画像を記憶させ、利用するメイクアップ画像を前もってユーザＡに選択させるようにし、メイクアップ機能が有効化されると、マイクスピーカ付きカメラ４Ａで撮像されたユーザＡの顔画像に、ユーザＡにより選択された所望のメイクアップ画像を合成するようにしてもよい。またこれに限らず、コミュニケーション装置２Ａに、視線一致機能やメイクアップ機能以外の、画像加工機能（つまりマイクスピーカ付きカメラ４Ａで撮像されたユーザＡの画像を加工する機能）を設けるようにしてもよい。コミュニケーション装置２Ｂも同様に、視線一致機能の代わりに、メイクアップ機能や、他の画像加工機能を設けるようにしてもよい。

［５－２．他の実施の形態２］
また、上述した実施の形態では、コミュニケーション装置２Ａ、２Ｂ間の通信が終了すると、自動的に視線一致機能を無効化するようにした。これに限らず、例えば、コミュニケーション装置２Ａの視線一致機能が有効化されているときに、ユーザＡがマイクスピーカ付きカメラ４Ａを所定時間見つめつづけると、制御部１７がこれを認識して、視線一致機能を無効化するようにしてもよい。またこの場合に、視線一致機能を有効化するときと、無効化するときとで、マイクスピーカ付きカメラ４Ａを見つづけなければならない時間を変えるようにしてもよい。例えば、視線一致機能を有効化する場合には、極力早く有効化できるよう、その時間を５秒間とし、視線一致機能を無効化する場合には、誤って無効化されないよう、その時間を８秒間とするなどしてもよい。コミュニケーション装置２Ｂ側も同様に、ユーザＢがマイクスピーカ付きカメラ４Ｂを所定時間見つめつづけると、制御部１７がこれを認識して、視線一致機能を無効化するようにしてもよい。

またこれに限らず、例えば、コミュニケーション装置２Ａの制御部１７が、入力デバイス５Ａを介して視線一致機能を無効化する操作が行われたことを認識した場合に、視線一致機能を無効化するようにしてもよい。この場合、例えばコミュニケーション装置２Ａ、２Ｂ間の通信が終了した時点で、まだ視線一致機能が無効化されていなければ、視線一致機能を無効化せずに有効化を維持するようにしてもよい。このようにすれば、ユーザＡは、次回、最初から視線一致機能を有効化した状態で、ユーザＢとコミュニケーションできる。

［５－３．他の実施の形態３］
さらに、上述した実施の形態では、視線一致機能が無効化されている状態で、コミュニケーション装置２Ａ、２Ｂ間での動画像データ及び音声データの送受信が開始されることで、ユーザＡ、Ｂ間のコミュニケーションが開始され、その後、必要に応じて、視線一致機能を有効化できるようにした。これに限らず、例えば、コミュニケーション装置２Ａ、２Ｂ間での通信が可能な状態になった後、ユーザＡ、Ｂが、それぞれ視線一致機能を有効化した状態でコミュニケーションを開始するか、無効化した状態でコミュニケーションを開始するか選択できるようにしてもよい。

具体的には、例えば、コミュニケーション装置２Ａの制御部１７は、コミュニケーション装置２Ｂとの通信が可能な状態になった後、ユーザＡの視線がマイクスピーカ付きカメラ４Ａに向けられた状態で所定時間経過すると、これを認識して、視線一致機能を有効化した状態で、コミュニケーション装置２Ｂとの間で動画像データ及び音声データの送受信を開始する。一方で、コミュニケーション装置２Ａの制御部１７は、コミュニケーション装置２Ｂとの通信が可能な状態になった後、ユーザＡの視線がマイクスピーカ付きカメラ４Ｂ以外に向けられた状態で所定時間経過すると、これを認識して、視線一致機能を無効化した状態で、コミュニケーション装置２Ｂとの間で動画像データ及び音声データの送受信を開始する。コミュニケーション装置２Ｂ側も同様に動作する。こうすることで、コミュニケーション開始前に、視線一致機能を有効化するか無効化するか選択できる。

［５－４．他の実施の形態４］
さらに、上述した各実施の形態では、コミュニケーション装置２Ａの本体部６Ａに、マイクスピーカ付きカメラ４Ａを接続するようにしたが、これに限らず、カメラとマイクロホンとスピーカとをそれぞれ別々のデバイスとして本体部６Ａに接続するようにしてもよい。コミュニケーション装置２Ｂについても同様である。また、コミュニケーション装置２Ａのマイクスピーカ付きカメラ４Ａと、モニタ３Ａと、入力デバイス５Ａと、本体部６Ａとを一体化してもよい。この場合、例えば、コミュニケーション装置２Ａを、携帯型の端末としてもよい。コミュニケーション装置２Ｂについても同様である。

さらに、上述した各実施の形態では、制御部１７に視線方向検出部１７Ｉｔの機能を持たせるようにしたが、これに限らず、コミュニケーション装置２Ａ、２Ｂに、制御部１７とは別に視線方向検出部１７Ｉｔを設けるようにしてもよい。また、コミュニケーション装置２Ａ、２Ｂに、視線方向検出部１７Ｉｔの代わりに、アイトラッキング用の光学センサを有する視線方向検出部などを設けるようにしてもよい。

［５－５．他の実施の形態５］
さらに、上述した実施の形態では、２台のコミュニケーション装置２Ａ、２Ｂで構成されるコミュニケーションシステム１に本発明を適用したが、これに限らず、３台以上のコミュニケーション装置で構成されるコミュニケーションシステムにも適用できる。３台以上のコミュニケーション装置で構成されるコミュニケーションシステムに適用する場合、各コミュニケーション装置が、他の複数のコミュニケーション装置と動画像データ及び音声データの送受信を行うとともに、モニタにコミュニケーション相手となる複数のユーザの画像を表示する点を除けば、基本的な構成及び動作は、上述したコミュニケーションシステム１と変わらない。

［５－６．他の実施の形態６］
さらに、本発明は、上述した各実施の形態に限定されるものではない。すなわち本発明は、上述した実施の形態と他の実施の形態の一部または全部を任意に組み合わせた実施の形態や、一部を抽出した実施の形態にもその適用範囲が及ぶものである。また、上述した各実施の形態における、コミュニケーションシステム１の構成、コミュニケーション装置２Ａ、２Ｂの構成、視線一致機能有効化処理の流れなどについては、一例であり、同様の効果が得られる範囲で、適宜変更してもよい。

本発明は、テレビ電話システムなど、画像による遠隔コミュニケーションが可能なコミュニケーションシステムとして広く利用することができる。

１……コミュニケーションシステム、２Ａ、２Ｂ……コミュニケーション装置、３Ａ、３Ｂ……モニタ、４Ａ、４Ｂ……マイクスピーカ付きカメラ、５Ａ、５Ｂ……入力デバイス、６Ａ、６Ｂ……本体部、１０……撮像部、１１……マイクロホン部、１２……スピーカ部、１６……通信部、１７……制御部、１７Ｉｔ……視線方向検出部、１８……記憶部、１９……画像処理部、Ａ、Ｂ……ユーザ、ＮＴ……ネットワーク。

Claims (10)

1. 自ユーザを撮像する撮像部と、
   前記自ユーザのコミュニケーション相手となる他ユーザのコミュニケーション装置に前記撮像部により撮像された前記自ユーザの画像を送信するとともに、前記他ユーザのコミュニケーション装置から送信されてくる前記他ユーザの画像を受信する通信部と、
   前記通信部により受信された前記他ユーザの画像を表示する表示部と、
   前記自ユーザの視線の方向を検出する視線方向検出部と、
   前記撮像部により撮像された前記自ユーザの画像を加工する画像処理部と、
   前記視線方向検出部により検出された前記自ユーザの視線の方向に基づいて、前記撮像部により撮像された前記自ユーザの画像を加工したうえで前記他ユーザのコミュニケーション装置に送信する画像加工機能を有効化する制御部と
   を備え、
   前記制御部は、
   前記自ユーザの視線の方向が前記撮像部への方向である状態のまま所定時間経過すると、前記画像加工機能を有効化し、
   前記画像処理部は、
   前記制御部によって前記画像加工機能が有効化されている場合に、前記撮像部により撮像された前記自ユーザの画像を加工する
   ことを特徴とするコミュニケーション装置。
2. 前記制御部は、
   前記他ユーザのコミュニケーション装置との間で通信可能な状態にあるときに、前記自ユーザの視線の方向が前記撮像部への方向である状態のまま所定時間経過すると、前記画像加工機能を有効化する
   ことを特徴とする請求項１に記載のコミュニケーション装置。
3. 前記画像加工機能は、
   前記他ユーザのコミュニケーション装置との間で通信が開始された時点では、前記制御部により無効化されている
   ことを特徴とする請求項２に記載のコミュニケーション装置。
4. 前記制御部は、
   前記他ユーザのコミュニケーション装置との間の通信が終了すると、前記画像加工機能を自動的に無効化する
   ことを特徴とする請求項３に記載のコミュニケーション装置。
5. 前記制御部は、
   前記画像加工機能を有効化した後、前記自ユーザの視線の方向が前記撮像部への方向である状態のまま所定時間経過すると、前記画像加工機能を無効化する
   ことを特徴とする請求項１～４のいずれかに記載のコミュニケーション装置。
6. 前記画像加工機能は、
   前記撮像部により撮像された前記自ユーザの顔画像を、前記自ユーザの視線が前記撮像部へと向くように加工する視線一致機能であり、
   前記画像処理部は、
   前記制御部によって前記視線一致機能が有効化されている場合に、前記撮像部により撮像された前記自ユーザの顔画像を、前記自ユーザの視線が前記撮像部へと向くように加工する
   ことを特徴とする請求項１～５のいずれかに記載のコミュニケーション装置。
7. 前記画像加工機能は、
   前記撮像部により撮像された前記自ユーザの顔画像を、メイクアップが施されたように加工するメイクアップ機能であり、
   前記画像処理部は、
   前記制御部によって前記メイクアップ機能が有効化されている場合に、前記撮像部により撮像された前記自ユーザの顔画像を、メイクアップが施されたように加工する
   ことを特徴とする請求項１～５のいずれかに記載のコミュニケーション装置。
8. 通信部が、自ユーザのコミュニケーション相手となる他ユーザのコミュニケーション装置に、撮像部により撮像された前記自ユーザの画像を送信し、
   表示部が、前記通信部により受信された、前記他ユーザのコミュニケーション装置から送信されてくる前記他ユーザの画像を表示し、
   制御部が、視線方向検出部により検出された前記自ユーザの視線の方向が前記撮像部への方向である状態のまま所定時間経過すると、前記撮像部により撮像された前記自ユーザの画像を加工したうえで前記他ユーザのコミュニケーション装置に送信する画像加工機能を有効化し、
   画像処理部が、前記制御部によって前記画像加工機能が有効化されている場合に、前記撮像部により撮像された前記自ユーザの画像を加工する
   ことを特徴とするコミュニケーション方法。
9. コミュニケーション装置に対し、
   通信部が、自ユーザのコミュニケーション相手となる他ユーザのコミュニケーション装置に撮像部により撮像された前記自ユーザの画像を送信するとともに、表示部が、前記通信部により受信された、前記他ユーザのコミュニケーション装置から送信されてくる前記他ユーザの画像を表示する処理と、
   制御部が、視線方向検出部により検出された前記自ユーザの視線の方向が前記撮像部への方向である状態のまま所定時間経過すると、前記撮像部により撮像された前記自ユーザの画像を加工したうえで前記他ユーザのコミュニケーション装置に送信する画像加工機能を有効化する処理と、
   画像処理部が、前記制御部によって前記画像加工機能が有効化されている場合に、前記撮像部が撮像した前記自ユーザの画像を加工する処理とを
   実行させるためのコミュニケーションプログラム。
10. 複数のコミュニケーション装置により構成されるコミュニケーションシステムであり、
    前記複数のコミュニケーション装置は、それぞれ、
    自ユーザを撮像する撮像部と、
    前記自ユーザのコミュニケーション相手となる他ユーザのコミュニケーション装置に前記撮像部により撮像された前記自ユーザの画像を送信するとともに、前記他ユーザのコミュニケーション装置から送信されてくる前記他ユーザの画像を受信する通信部と、
    前記通信部により受信された前記他ユーザの画像を表示する表示部と、
    前記自ユーザの視線の方向を検出する視線方向検出部と、
    前記撮像部により撮像された前記自ユーザの画像を加工する画像処理部と、
    前記視線方向検出部により検出された前記自ユーザの視線の方向に基づいて、前記撮像部により撮像された前記自ユーザの画像を加工したうえで前記他ユーザのコミュニケーション装置に送信する画像加工機能を有効化する制御部と
    を備え、
    前記制御部は、
    前記自ユーザの視線の方向が前記撮像部への方向である状態のまま所定時間経過すると、前記画像加工機能を有効化し、
    前記画像処理部は、
    前記制御部によって前記画像加工機能が有効化されている場合に、前記撮像部により撮像された前記自ユーザの画像を加工する
    ことを特徴とするコミュニケーションシステム。

Images