JP6950685B2 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

Description

本開示は、情報処理装置、情報処理方法、およびプログラムに関する。

近年の通信技術の発達により、遠隔地を映像と音声で結ぶテレビ会議システムが提案されている。具体的には、例えば表示装置、カメラ、マイク、およびスピーカが各場所に設けられ、一方の場所で取得された映像および音声がリアルタイムで他方の場所に送信され、表示装置およびスピーカから出力される。

テレビ会議等の対面会話では、視聴者と表示画面上の相手方との視線が合わないと臨場感等が失われ会議等の効率が落ちる。そのため、視線一致を実現したカメラ一体型ディスプレイ装置が種々に提案されている。例えば下記特許文献１では、ハーフミラー等を用いて画面の後方にカメラを設置する視線一致ビデオ会議システムが記載されている。また、下記特許文献２では、表示画面の中央にカメラを固定する方式が記載されている。

特開平６−２４５２０９号公報 特開平８−１６３４１６号公報

しかしながら、上述した特許文献１に記載の技術では、構成上、システム全体が大型化してしまう問題があった。また、上述した特許文献２に記載の技術では、画面上にカメラが重なるため、不具合があった。

そこで、本開示では、遠隔地をつなぐ映像コミュニケーションにおいて相手の視線をより自然に把握させることが可能な情報処理装置、情報処理方法、およびプログラムを提案する。

本開示によれば、通信先装置からビデオ通信相手の撮像画像を受信する受信部と、前記受信した撮像画像を表示部に表示するよう制御する制御部と、を備え、前記制御部は、前記撮像画像に写る通信相手が前記通信先装置で表示されているユーザを見ていることを示す情報に基づいて、前記撮像画像に写る通信相手の視線が前記表示部を見ているユーザに向いているように見えるよう前記撮像画像を画像処理して表示する、情報処理装置を提案する。

本開示によれば、プロセッサが、通信先装置からビデオ通信相手の撮像画像を受信することと、前記受信した撮像画像を表示部に表示するよう制御することと、前記撮像画像に写る通信相手が前記通信先装置で表示されているユーザを見ていることを示す情報に基づいて、前記撮像画像に写る通信相手の視線が前記表示部を見ているユーザに向いているように見えるよう前記撮像画像を画像処理して表示すること、を含む、情報処理方法を提案する。

本開示によれば、コンピュータを、通信先装置からビデオ通信相手の撮像画像を受信する受信部と、前記受信した撮像画像を表示部に表示するよう制御する制御部と、として機能させ、前記制御部は、前記撮像画像に写る通信相手が前記通信先装置で表示されているユーザを見ていることを示す情報に基づいて、前記撮像画像に写る通信相手の視線が前記表示部を見ているユーザに向いているように見えるよう前記撮像画像を画像処理して表示する、プログラムを提案する。

以上説明したように本開示によれば、遠隔地をつなぐ映像コミュニケーションにおいて相手の視線をより自然に把握させることが可能となる。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の一実施形態による情報処理システムの概要について説明する図である。 遠隔地をつなぐ映像コミュニケーションにおける視線ずれについて説明する図である。 本実施形態による情報処理装置の構成の一例を示すブロック図である。 図３に示す情報処理装置における制御部の機能構成の一例を示すブロック図である。 本実施形態による注視対象の判断について説明する図である。 本実施形態による動作処理を示すシーケンス図である。 図６に示す動作処理に続く動作処理を示すシーケンス図である。 本開示の他の実施形態による情報処理システムの概要について説明する図である。 本開示の他の実施形態による動作処理を示すシーケンス図である。 本開示の他の実施形態による注視対象の判断について説明する図である。 本開示の他の実施形態による視線ステータスの管理の一例について説明する図である。 本開示の他の実施形態による情報処理装置における画面表示例を示す図である。 本開示の他の実施形態による情報処理装置における画面表示例を示す図である。 本開示の他の実施形態による情報処理装置における画面表示例を示す図である。 本開示の他の実施形態による情報処理装置における画面表示例を示す図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、説明は以下の順序で行うものとする。
１．本開示の一実施形態による情報処理システムの概要
２．情報処理装置の構成
３．動作処理
４．他の実施形態
４−１．概要
４−２．動作処理
４−３．画面表示例
５．まとめ

＜＜１．本開示の一実施形態による情報処理システムの概要＞＞
本開示の一実施形態による情報処理システム１の概要について図１を参照して説明する。本実施形態による情報処理システム１は、遠隔地にある情報処理装置１０Ａ、１０Ｂが、ネットワーク２０を介して接続し、映像や、音声、さらに共有するコンテンツ等を送受信することで、遠隔地をつなぐ映像コミュニケーションを実現する。

ここで、図２に示すように、各遠隔地の映像はカメラ１２により撮像されるが、カメラ１２とディスプレイ１１の位置ずれ等の影響で、互いにディスプレイに映る相手ユーザを見ているにも関わらず視線がずれてしまうという問題が生じる。図２のディスプレイ１１に映るユーザＢは、実際にはユーザＡを見ているが、ユーザＢ側のディスプレイとカメラの位置ずれにより、ユーザＢの視線がユーザＡから外れているように見える。また、ユーザＡはディスプレイ１１に映るユーザＢを見ているが、ディスプレイ１１とカメラ１２の位置ずれにより、ユーザＢからはユーザＡの視線が外れているように見える。

そこで、本実施形態による情報処理システムでは、遠隔地をつなぐ映像コミュニケーションにおいて相手の視線をより自然に把握させることを可能とする。具体的には、各情報処理装置１０においてユーザの視線検出を行い、相手ユーザを見ているか否かを判断し、かかる判断の結果を各情報処理装置１０で同期する。そして、各情報処理装置１０は、ディスプレイに表示する相手ユーザがユーザを見ている場合に、当該相手ユーザの視線がユーザに向いて見えるよう画像処理を行う。これにより、同一空間における視線一致といった自然なコミュニケーションを遠隔地コミュニケーションにおいて実現することができる。

＜＜２．情報処理装置の構成＞＞
続いて、本実施形態による情報処理装置１０の構成について図３を参照して説明する。図３は、本実施形態による情報処理装置１０の構成の一例を示すブロック図である。図３に示すように、情報処理装置１０は、制御部１００、入力部１０１、操作Ｉ／Ｆ（インタフェース）１０２、出力部１０３、通信部１０４、および記憶部１０５を有する。

制御部１００は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置１０内の動作全般を制御する。制御部１００は、例えばＣＰＵ（Central Processing Unit）、マイクロプロセッサ等の電子回路によって実現される。また、制御部１００は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ（Read Only Memory）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。制御部１００の具体的な機能構成については図４を参照して後述する。

入力部１０１は、空間情報を入力する機能を有する。例えば入力部１０１は、カメラ１０１１、マイクロホン（以下、マイクと称す）１０１２、および視線センサ１０１３により実現される。カメラ１０１１は、例えばディスプレイ１０３１の周辺に設けられ、ディスプレイ１０３１の前方方向を撮像し、撮像画像（本明細書では「映像」とも称す）を取得する。マイク１０１２は、例えばディスプレイ１０３１の周辺に設けられ、周辺の音声を取得する。なおマイク１０１２は、複数から成るマイクアレイであってもよい。また、マイク１０１２は、ユーザの付近に設けられていてもよい。

視線センサ１０１３は、例えばディスプレイ１０３１の周辺に設けられ、ディスプレイ１０３１を見るユーザの視線を追跡する（視線トラッカーとも称される）。例えば視線センサ１０１３は、ユーザの頭部や顔の向き、眼球、瞳孔の位置からディスプレイ１０３１に対する視線を検出する。また、例えば視線センサ１０１３は、複数の赤外線ＬＥＤを有し、赤外線をユーザの眼球に向けて照射し、眼球の反射点（光点）の位置と瞳孔中心点との位置関係に基づいてユーザの視線方向を算出することが可能である。なお視線センサ１０１３はディスプレイ１０３１周辺に設けられるデバイスに限定されない。例えばユーザが装着するシースルーメガネ型の装置に設けられ、極近距離から測定したユーザの眼球（具体的には黒目（虹彩部分と瞳孔部分を含む）等）の位置の変化に基づいて、その視点から見たディスプレイ上（シースルーメガネ型の装置のディスプレイ上でもよい）の注視点の動きを検出することも可能である。また、ユーザが装着するヘッドマウント型の装置に設けられ、同様に極近距離から測定した眼球の位置の変化に基づいて、ヘッドマウント型の装置内のディスプレイ上の注視点の動きを検出することも可能である。

操作Ｉ／Ｆ１０２は、ユーザからの操作入力を受け付け、制御部１００へ出力する。操作Ｉ／Ｆ１０２は、キーボード、マウス、タッチパネル、ボタン、スイッチ等により実現され得る。例えば、操作Ｉ／Ｆ１０２を用いて、相手ユーザと共有するコンテンツの指定や、表示されたコンテンツへの操作等が行われ得る。

出力部１０３は、制御部１００から出力される各種情報をユーザに提示する機能を有する。例えば出力部１０３は、ディスプレイ１０３１、スピーカ１０３２、およびインジケータ１０３３を有する。ディスプレイ１０３１は、相手ユーザ（遠隔地空間）の映像や共有されるコンテンツを表示する。スピーカ１０３２は、相手ユーザ（遠隔地空間）の音声を再生する。また、インジケータ１０３３は、例えばシグナルとして用いられるＬＥＤ照明により実現される。例えばインジケータ１０３３は、ディスプレイ１０３１の外枠フレームに設けられ、何らかのユーザへの通知を行う場合に点灯する。

通信部１０４は、ネットワーク２０を介して他の情報処理装置１０と接続し、データの送受信を行う。例えば通信部１０４は、カメラ１０１１により撮像された撮像画像、マイク１０１２により収音された音声データ、および共有するコンテンツデータ（会議の資料データ等）を、通信先の情報処理装置１０へ送信する。また、通信部１０４は、通信先の情報処理装置１０から、映像や、音声データ、コンテンツデータ等を受信する。

記憶部１０５は、制御部１００が各機能を実行するためのプログラムやパラメータを格納する。また、本実施形態による記憶部１０５は、通信部１０４を介して送受信されるデータを記憶してもよい。

続いて、図４を参照して制御部１００の具体的な機能構成について説明する。図４は、本実施形態による制御部１００の機能構成の一例を示すブロック図である。

図４に示すように、制御部１００は、映像・音声取得部１００ａ、操作情報取得部１００ｂ、コンテンツ取得部１００ｃ、送信制御部１００ｄ、注視位置特定部１００ｅ、相手映像解析部１００ｆ、注視対象判断部１００ｇ、注視情報管理部１００ｈ、相手映像処理部１００ｉ、表示情報生成部１００ｊ、および注視情報提示制御部１００ｋとして機能する。

映像・音声取得部１００ａは、カメラ１０１１により撮像される撮像画像（映像）、およびマイク１０１２により収音される音声情報を取得し、送信制御部１００ｄに出力する。なお映像・音声取得部１００ａは、取得した映像および音声情報に対して、ノイズ処理や圧縮処理等の各種処理を行った上で送信制御部１００ｄに出力してもよい。

操作情報取得部１００ｂは、操作Ｉ／Ｆ１０２から入力された操作情報を取得し、送信制御部１００ｄに出力する。

コンテンツ取得部１００ｃは、会議資料データ等、情報処理システム１で共有するコンテンツ情報を取得し、送信制御部１００ｄに出力する。

送信制御部１００ｄは、通信部１０４からネットワーク２０を介して通信先の情報処理装置１０に、映像、音声データ、操作情報、コンテンツ情報等を送信するよう制御する。

注視位置特定部１００ｅは、視線センサ１０１３により検出されたユーザの視線に基づいて、ディスプレイ上の注視位置（例えば表示画面に対応する座標情報）を特定する。

相手映像解析部１００ｆは、通信部１０４を介して通信先の情報処理装置１０から受信した映像を解析（画像解析、物体認識）する。例えば相手映像解析部１００ｆは、映像に映る人物（相手ユーザ）の顔認識を行い、眼周辺の領域を認識する。

注視対象判断部１００ｇは、ディスプレイ１０３１に表示された映像におけるユーザの注視対象を判断する。例えば注視対象判断部１００ｇは、図５に示すように、ディスプレイ１０３１に対するユーザＡの視線の注視点Ｐ（注視位置特定部１００ｅにより特定される）と、ディスプレイ１０３１に表示される映像に映るユーザＢの眼周辺の領域Ｅ（相手映像解析部１００ｆにより認識される）とを比較、照合し、ユーザＡの注視対象を判断する。図５に示す例では、ユーザＡがユーザＢを見ているか否かが判断され得る。なおディスプレイ１０３１に会議資料データ等のコンテンツが表示されている場合、注視対象判断部１００ｇは、ユーザＡがコンテンツのどの部分を注視しているかを判断する。

注視情報管理部１００ｈは、注視対象判断部１００ｇによる判断結果を注視情報として管理する（視線ステータスの管理）。注視対象判断部１００ｇによる判断結果は、例えば「ユーザＡはユーザＢを見ている」、「ユーザＡは資料画像の座標（x,y）を見ている」、「ユーザＡはユーザＢを見ていない」といった内容が挙げられる。また、注視情報管理部１００ｈは、ユーザＡの注視情報を記憶部１０５に格納する。また、注視情報管理部１００ｈは、ユーザＡの注視情報を送信制御部１００ｄに出力し、送信制御部１００ｄにより通信先の情報処理装置１０と注視情報を同期させる。具体的には、送信制御部１００ｄは、通信部１０４からネットワークを介して通信先の情報処理装置１０にユーザＡの注視情報を送信する。なお、ユーザの注視情報の同期は各情報処理装置１０において互いに行われ、注視情報管理部１００ｈは、通信先の情報処理装置１０から送信された相手ユーザの注視情報も管理する。これにより、注視情報管理部１００ｈは、例えば相手ユーザＢがユーザＡを見ているか否かを把握することができる。さらに、注視情報管理部１００ｈは、ユーザＡとユーザＢの注視情報に基づいて、両者の視線が一致しているか否かを判断することができる。

相手映像処理部１００ｉは、注視情報管理部１００ｈにより管理される注視情報に基づいて、相手映像に対して所定の画像処理を行う。例えば相手映像処理部１００ｉは、注視情報において相手ユーザがユーザを注視していることが示されている場合、相手映像に映る相手ユーザの視線がユーザに向いて見えるよう画像処理を行う。上述したように、カメラ位置のずれ等により、相手ユーザがディスプレイに映るユーザを見ているにも関わらず視線がずれてしまうため、注視情報で相手ユーザがユーザに視線を向けていることが示されている場合、相手映像に映る相手ユーザの視線がユーザに向いて見えるよう加工する。具体的には、例えば相手映像に映る相手ユーザの黒目の位置や両眼の位置、頭部（顔）の向きなどを最適に加工する。加工手法については特に限定しないが、例えば２Ｄ画像、３Ｄモデルベースの２Ｄ画像、または３Ｄモデル画像等を用いる手法が可能である。相手ユーザの３Ｄモデルデータは、例えば相手側の情報処理装置１０において生成され、送信される。例えば３Ｄモデル画像を用いて相手ユーザの頭部の向きを加工する場合、相手映像処理部１００ｉは、相手側の情報処理装置１０に設けられたＲＧＢ−Ｄカメラ（距離センサを搭載したカメラ）から得られたリアルタイムの相手ユーザの顔モデルのデータを取得する。次いで、相手映像処理部１００ｉは、顔モデルを所定の向き（例えば正面）に回転した上で着色し、合成元画像（相手映像に映る相手ユーザの顔部分）に合成して継ぎ目を最適化し、相手ユーザの顔の向きを変えた画像をリアルタイムで生成することができる。

また、このような視線加工の処理を相互に行うことで、ユーザと相手ユーザの視線が一致する自然なコミュニケーションを実現することができる。

また、相手映像処理部１００ｉは、相手ユーザの視線がカメラに向いている場合、撮像された相手映像をそのままディスプレイに表示すると相手ユーザがこちらに視線を向けているように見えてしまうため、相手ユーザの視線を外すよう加工することも可能である。

また、相手映像処理部１００ｉは、コミュニケーション状態に連動して表示システムを最適化し得る。例えば注視情報に基づいて互いの視線が一致しているユーザ同士のコミュニケーションパスは優先度が高いと判断し、相互の映像領域を拡大したり、高画質にしたり、ハイライト表示したりする等の連動した表示制御を行い得る。一方、相手側もユーザも互いに視線を向けていない優先度が低い相手ユーザの映像は低解像度で小さく表示する等してもよい。

表示情報生成部１００ｊは、ディスプレイ１０３１に表示する情報を生成する。例えば表示情報生成部１００ｊは、相手映像処理部１００ｉにより生成された視線加工済みの相手映像と、共有されるコンテンツ情報とを配置した画面を生成する。また、表示情報生成部１００ｊは、相手映像処理部１００ｉによる視線加工が不要な場合、そのままの相手映像を配置した画面を生成してもよい。

注視情報提示制御部１００ｋは、注視情報管理部１００ｈが管理する注視情報に基づいて、注視情報をユーザへ提示する。例えばディスプレイ１０３１に表示される映像内の相手ユーザがユーザを見ている場合、その旨をディスプレイ１０３１に表示したり、インジケータ１０３３を点灯させたりする。

以上、本実施形態による制御部１００の機能構成について具体的に説明した。なお本実施形態による制御部１００は、視線一致に応じた表示システムの最適化に限定されず、例えばコミュニケーション状態に連動して音響システムを最適化することも可能である。具体的には、制御部１００は、視線一致により優先するユーザ間の音声を明朗で大きい音量にすることで、注視した相手の声を聞こえ易くする。一方、優先度が低い相手の声は、不明瞭で小さい音量にしてもよい。これにより、さらに円滑なコミュニケーションを促すことができる。

＜＜３．動作処理＞＞
続いて、本実施形態による動作処理について図６を参照して説明する。図６は、本実施形態による動作処理を示すシーケンス図である。ここでは、情報処理装置１０Ａ、１０Ｂ間で行われるユーザＡとユーザＢの映像コミュニケーションを例に説明する。

図６に示すように、まず、情報処理装置１０Ａは、情報処理装置１０Ｂに対してビデオ会話の接続要求を行い（ステップＳ１０３）、情報処理装置１０Ｂから接続許可を得て（ステップＳ１０６）、両者間の通信が確立する（ビデオ会話接続処理）。なおここでは情報処理装置１０Ａから接続要求を行っているが、当然、これに限定されず、情報処理装置１０Ｂから情報処理装置１０Ａに接続要求を行ってもよい。

次に、情報処理装置１０Ａは、ディスプレイ１０３１の前に居るユーザＡを撮像した映像を取得し（ステップＳ１０９）、通信先である情報処理装置１０Ｂに送信する（ステップＳ１１２）。一方、情報処理装置１０Ｂも同様にユーザＢの映像を取得し（ステップＳ１１５）、情報処理装置１０Ａへ送信する（ステップＳ１１８）。

次いで、各情報処理装置１０は、送信された相手映像を画面上に配置し、表示する（ステップＳ１１９、Ｓ１２０）。このような映像表示処理（ステップＳ１０９〜Ｓ１２０）が継続的に行われ、ユーザＡとユーザＢの映像コミュニケーションがリアルタイムに行われ得る。なおここでは「映像」のみを示しているが、音声データも併せて送受信および出力され得る。

続いて、情報処理装置１０Ａは、相手映像解析部１００ｆにより、情報処理装置１０Ｂから送信された相手映像の解析を行う（ステップＳ１２１）。具体的には、情報処理装置１０Ａは、相手映像の画像解析、物体認識等を行い、相手映像に映るユーザＢの眼周辺の領域を認識する。

次に、情報処理装置１０Ａは、視線センサ１０１３によりディスプレイ１０３１上のユーザＡの視点（注視点）をトラッキングする（ステップＳ１２４）。ディスプレイ１０３１には、情報処理装置１０Ｂから送信された相手映像がリアルタイムで表示されている。

次いで、情報処理装置１０Ａは、注視対象判断部１００ｇにより、トラッキングしたユーザＡの視点位置と、相手映像に映るユーザＢの眼周辺の領域とを比較、照合し、ユーザＡがユーザＢを注視しているか否かを判断する（ステップＳ１２７）。ここでは注視対象としてユーザＢ（相手ユーザ）を見ているか否かを判断する旨を説明したが、ディスプレイ１０３１に会議資料等のコンテンツデータも配置され表示されている場合、注視対象判断部１００ｇは、ユーザＡが会議資料のどの部分を注視しているかも判断し得る。

次に、情報処理装置１０Ａは、注視情報を情報処理装置１０Ｂへ送信する（ステップＳ１３０）。

このような注視情報の同期処理は、情報処理装置１０Ｂにおいても同様に行われる（ステップＳ１３６〜Ｓ１４５）。

続いて、図７を参照して図６に示す動作処理の続きを説明する。図７は、図６に示す動作処理に続く動作処理を示すシーケンス図である。

図７に示すように、次に情報処理装置１０Ａは、情報処理装置１０Ｂから送信された注視情報に基づいて、相手ユーザ（ユーザＢ）がユーザＡを注視しているか否かを判断する（ステップＳ１５１）。

注視している場合（ステップＳ１５１／Ｙｅｓ）、相手映像処理部１００ｉは、注視あり用の加工を行う（ステップＳ１５４）。例えば相手映像処理部１００ｉは、相手映像に映るユーザＢの視線が図２に示すようにずれている場合に、ユーザＢの黒目の位置や両眼の位置、頭部（顔）の向きを画像処理により加工して正面に向けることで、ユーザＢの視線がディスプレイに対面するユーザＡに向いているように見える加工を行うことができる。また、相手映像処理部１００ｉは、「ユーザＡを見ています」といった通知表示を、相手映像に重畳表示する処理を行ってもよい。

次いで、注視情報提示制御部１００ｋは、インジケータを点滅させる等により注視状態をユーザＡに通知してもよい（ステップＳ１５７）。

一方、注視していない場合（ステップＳ１５１／Ｎｏ）、相手映像処理部１００ｉは、注視なし用の加工を行う（ステップＳ１６０）。例えば相手映像処理部１００ｉは、相手映像に映るユーザＢの黒目の位置や両眼の位置、頭部（顔）の向きを画像処理により加工して正面以外に向けることで、ユーザＢの視線がディスプレイに対面するユーザＡに向いていないことが明白になるようにすることができる。なお相手映像処理部１００ｉは、注視なしの場合には何ら加工を行わないようにしてもよい。

このような視線加工処理は、情報処理装置１０Ｂにおいても同様に行われる（ステップＳ１６３〜Ｓ１７２）。

以上説明した視線加工処理が情報処理装置１０Ａと情報処理装置１０Ｂの両者で行われることで、遠隔地を結ぶ映像コミュニケーションにおいてユーザＡとユーザＢが互いに視線を一致させることができ、円滑なコミュニケーションを実現することができる。

そして、情報処理装置１０Ａがビデオ会話終了要求を情報処理装置１０Ｂに対して行い（ステップＳ１７５）、情報処理装置１０Ｂにより受諾されると、ビデオ会話が終了する（ステップＳ１７８）。なおここでは情報処理装置１０Ａから終了要求を行っているが、当然、これに限定されず、情報処理装置１０Ｂから情報処理装置１０Ａに終了要求を行ってもよい。

＜＜４．他の実施形態＞＞
上述した実施形態では、情報処理装置１０Ａと情報処理装置１０Ｂの二者間における映像コミュニケーションを例に説明したが、本実施形態はこれに限定されず、三者以上の映像コミュニケーションにおいても同様に注視情報の同期および視線加工の処理を行うことで、円滑なコミュニケーションを実現することが可能である。以下、処理サーバ３０により各ユーザの注視情報が同期される実施形態について図８〜図１５を参照して具体的に説明する。

＜４−１．概要＞
図８は、本開示の他の実施形態による情報処理システム２の概要について説明する図である。図８に示すように、他の実施形態による情報処理システム２は、情報処理装置１０Ａ、１０Ｂ、１０Ｃ、１０Ｄと、処理サーバ３０とを含む。情報処理装置１０Ａ、１０Ｂ、１０Ｃ、１０Ｄと、処理サーバ３０は、ネットワーク２０を介して互いに接続し、データの送受信を行うことが可能である。なおここでは一例として情報処理装置１０を４つ用いるが、本実施形態はこれに限定されず、２者間の映像コミュニケーションにおいて処理サーバ３０により各ユーザの注視情報が同期される場合もあれば、３人以上のユーザ間の映像コミュニケーションにおいて処理サーバ３０により各ユーザの注視情報が同期される場合もある。

情報処理装置１０Ａ〜１０Ｄの構成は、図３および図４で説明した上記実施形態と同様であるため、ここでの詳細は省略する。

処理サーバ３０は、一の情報処理装置１０から受信した注視情報を他の情報処理装置１０に送信することで、各情報処理装置１０の注視情報をシステム内で同期させる。

このような本実施形態による情報処理システム２の具体的な動作処理について、以下図９を参照して説明する。

＜４−２．動作処理＞
図９は、本開示の他の実施形態による動作処理を示すシーケンス図である。図９に示すように、まず、情報処理装置１０Ａ〜１０Ｄの間で、ビデオ会話接続処理が行われる（ステップＳ２０３）。ビデオ会話接続処理は、図６のステップＳ１０３〜Ｓ１０６と同様に、一の情報処理装置１０が他の情報処理装置１０へビデオ会話接続要求を行い、他の情報処理装置１０により許可されることで接続が確立する。

次に、情報処理装置１０Ａ〜１０Ｄの間で、映像表示処理が行われる（ステップＳ２０６）。映像表示処理は、図６のステップＳ１０９〜Ｓ１２０と同様に、各情報処理装置１０で取得されたユーザの映像が他の情報処理装置１０に送信され、各情報処理装置１０において通信先の他の情報処理装置１０で取得された相手ユーザの映像が表示される。

次いで、処理サーバ３０により情報処理装置１０Ａ〜１０Ｄの間で注視情報の同期処理が行われる。具体的には、例えば情報処理装置１０Ａが相手映像の解析を行い（ステップＳ２０９）、さらにユーザＡの視点をトラッキングし（ステップＳ２１２）、映像解析により認識した相手ユーザの眼周辺の領域とユーザＡの視点位置とを比較照合し、ユーザＡの注視対象を判断する（ステップＳ２１５）。ここで、図１０を参照して注視対象の判断について説明する。例えば図１０左側に示すように、ディスプレイ１０３１ａの画面上に通信相手であるユーザＢとユーザＣの映像が配置されている場合、情報処理装置１０Ａは、各映像における眼周辺の領域Ｅ_１、Ｅ_２を認識し、ユーザＡの視点位置と比較照合し、ユーザＢを注視しているか、ユーザＣを注視しているか、若しくはいずれも見ていないかを判断する。また、例えば図１０右側に示すように、ディスプレイ１０３１ｂの画面上に、共有しているコンテンツである資料画像と通信相手であるユーザＢの映像が並列に配置されている場合、情報処理装置１０Ａは、資料画像Ｅ_３とユーザＢの眼周辺の領域Ｅ_４を認識し、ユーザＡの視点位置と比較照合し、資料画像を注視しているか、ユーザＢを注視しているか、若しくはいずれも見ていないかを判断する。

続いて、情報処理装置１０Ａは、判断結果すなわち注視情報を処理サーバ３０に送信する（ステップＳ２１８）。

次に、処理サーバ３０は、情報処理装置１０Ａから送信された注視情報を、他の情報処理装置１０、ここでは情報処理装置１０Ｂ、情報処理装置１０Ｃ、および情報処理装置１０Ｄに送信する（ステップＳ２２１、ステップＳ２２４、ステップＳ２２７）。このように、処理サーバ３０は、注視情報の同期処理を行う。なおここでは一例として情報処理装置１０Ａから送信された注視情報を他の情報処理装置１０に送信する場合について説明したが、処理サーバ３０は、情報処理装置１０Ｂや情報処理装置１０Ｃ、情報処理装置１０Ｄから送信された注視情報も同様に他の情報処理装置１０に送信し、システム内で同期させる。これらの処理はリアルタイムに行われ、各情報処理装置１０は、現在相手ユーザが何を見ているか（例えばディスプレイに映るユーザを見ているか否か）を認識することができる。また、処理サーバ３０は、各情報処理装置１０から送信された注視情報に基づいて、視線ステータスを管理し、視線ステータスも注視情報に含めて各情報処理装置１０に同期させることが可能である。ここで、図１１に視線ステータスの管理の一例について説明する図を示す。図１１に示す例では、例えばユーザＡ、ユーザＢ、ユーザＣ、ユーザＤの４者間で映像コミュニケーションが行われ、さらに資料画像等のコンテンツが共有されている場合における視線ステータス管理の一例を示す。この場合、各情報処理装置１０のディスプレイ１０３１の画面上には、通信相手３名の各映像と共有コンテンツの画像が配置されている。次いで、処理サーバ３０は、例えばユーザＡの情報処理装置１０Ａから「ユーザＡはユーザＢを見ている」ことを示す注視情報を取得し、ユーザＢの情報処理装置１０Ｂから「ユーザＢはユーザＡを見ている」ことを示す注視情報を取得する。また、ユーザＣの情報処理装置１０Ｃから「ユーザＣは共有コンテンツの座標（x,y）を見ている」ことを示す注視情報を取得し、ユーザＤの情報処理装置１０Ｄから「ユーザＤはユーザＢを見ている」ことを示す注視情報を取得する。この場合、図１１に示すように、各情報処理装置１０から取得した注視情報を総合すると、処理サーバ３０は、ユーザＡとユーザＢの視線が一致していて、ユーザＤとユーザＢの視線は不一致であるといった視線ステータスを認識することができる。処理サーバ３０は、注視情報に加えてかかる視線ステータス情報も各情報処理装置１０に同期させる。例えば処理サーバ３０は、ユーザＣの情報処理装置１０Ｃに「ユーザＡはユーザＢを見ている」、「ユーザＢはユーザＡを見ている」、「ユーザＤはユーザＢを見ている」といった他の情報処理装置１０から取得した注視情報に加えて、「視線一致：ユーザＡとユーザＢ」、「視線不一致：ユーザＤとユーザＢ」といった視線ステータス情報を送信する。

以上、視線ステータスの管理が処理サーバ３０で行われる場合を例に説明したが、本実施形態はこれに限定されず、各情報処理装置１０の注視情報管理部１００ｈで行うことも可能である。

次いで、図９に戻り、情報処理装置１０Ａ〜１０Ｄは、視線加工処理を行う（ステップＳ２３０）。視線加工処理は、図７のステップＳ１５１〜Ｓ１７２と同様に、各情報処理装置１０において、同期された注視情報に基づいて注視あり用の加工や注視なし用の加工を行う。視線加工を行った具体的な画面表示例については、図１２〜図１５を参照して後述する。

そして、情報処理装置１０Ａ〜１０Ｄは、ビデオ会話終了処理を行う（ステップＳ２３３）。ビデオ会話終了処理は、図７のステップＳ１７２〜Ｓ１７８と同様に、一の情報処理装置１０が他の情報処理装置１０へビデオ会話終了要求を行い、他の情報処理装置１０により受諾されることで接続が切断する。

＜４−３．画面表示例＞
上述した他の実施形態による視線加工を行った具体的な画面表示例について、以下、図１２〜図１５を参照して説明する。

（表示例１）
図１２は、本実施形態による情報処理装置１０Ａにおける画面表示例を示す図である。図１２に示す例では、情報処理装置１０Ａのディスプレイ１０３１Ａの画面上に、ユーザＢの映像４０、ユーザＣの映像４１、ユーザＤの映像４２、および共有コンテンツである資料画像４３が並列に配置され、表示されている。

情報処理装置１０Ａは、ユーザＢの映像４０に対し、「ユーザＢがユーザＡを見ている」という注視情報に基づき、映像４０のユーザＢの視線加工を行う。具体的には、図２を参照して上述したように、カメラの位置ずれによりユーザＢがユーザＡを見ているにも関わらず視線がずれた映像となってしまうため、情報処理装置１０Ａは、映像内のユーザＢの黒目の位置、両眼の位置、または頭部（顔）の向きを正面に向けるよう加工し、図１２に示すように映像４０のユーザＢがユーザＡに視線を向けて見えるようにする。これにより、ユーザＡはユーザＢと視線が一致し、より円滑な映像コミュニケーションを行うことができる。さらに、情報処理装置１０Ａは、映像４０に「Ａを見ています」といった通知表示を重畳表示してもよい。

また、情報処理装置１０Ａは、「ユーザＣは資料の座標（x,y）を見ている」という注視情報に基づいて、ユーザＣが写る映像４１に「資料を見ています」といった通知表示を重畳表示する。

また、情報処理装置１０Ａは、「ユーザＤはユーザＢを見ている」という注視情報に基づいて、映像４２に映るユーザＤの視線を、図１２に示すように、画面上でユーザＢが写る映像４０が配置されている方向へ向けるよう加工する。

また、情報処理装置１０Ａは、「ユーザＣは資料の座標（x,y）を見ている」という注視情報に基づいて、資料画像４３上の座標（x,y）に注視位置を示す表示やアイコンを重畳表示することで、ユーザＣが資料のどこを見ているかを明示する。

（表示例２）
図１３は、本実施形態による情報処理装置１０Ｂにおける画面表示例を示す図である。図１３に示す例では、情報処理装置１０Ｂのディスプレイ１０３１Ｂの画面上に、ユーザＡの映像４４、ユーザＣの映像４５、ユーザＤの映像４６、および共有コンテンツである資料画像４７が並列に配置され、表示されている。

情報処理装置１０Ｂは、ユーザＡの映像４４に対し、「ユーザＡがユーザＢを見ている」という注視情報に基づき、映像４４のユーザＡの視線加工を行う。具体的には、図２を参照して上述した場合と同様に、カメラの位置ずれによりユーザＡがユーザＢを見ているにも関わらず視線がずれた映像となってしまうため、情報処理装置１０Ｂは、映像内のユーザＡの黒目の位置、両眼の位置、または頭部（顔）の向きを正面に向けるよう加工し、図１３に示すように映像４４のユーザＡがユーザＢに視線を向けて見えるようにする。これにより、ユーザＢはユーザＡと視線が一致し、より円滑な映像コミュニケーションを行うことができる。さらに、情報処理装置１０Ｂは、映像４４に「Ｂを見ています」といった通知表示を重畳表示してもよい。

また、情報処理装置１０Ｂは、「ユーザＣは資料の座標（x,y）を見ている」という注視情報に基づいて、ユーザＣが写る映像４５に「資料を見ています」といった通知表示を重畳表示する。

また、情報処理装置１０Ｂは、「ユーザＤはユーザＢを見ている」という注視情報に基づいて、映像４６に映るユーザＤの黒目の位置、両眼の位置、または頭部（顔）の向きを正面に向けるよう加工し、図１３に示すように映像４６のユーザＤがユーザＢに視線を向けて見えるようにする。

また、情報処理装置１０Ｂは、「ユーザＣは資料の座標（x,y）を見ている」という注視情報に基づいて、資料画像４７上の座標（x,y）に注視位置を示す表示やアイコンを重畳表示することで、ユーザＣが資料のどこを見ているかを明示する。

（表示例３）
図１４は、本実施形態による情報処理装置１０Ｃにおける画面表示例を示す図である。図１４に示す例では、情報処理装置１０Ｃのディスプレイ１０３１Ｃの画面上に、ユーザＡの映像４８、ユーザＢの映像４９、ユーザＤの映像５０、および共有コンテンツである資料画像５１が並列に配置され、表示されている。

情報処理装置１０Ｃは、「視線一致：ユーザＡとユーザＢ」という視線ステータスに基づき、映像４８のユーザＡおよび映像４９のユーザＢの視線加工を行う。具体的には、情報処理装置１０Ｃは、映像４８内のユーザＡの黒目の位置、両眼の位置、または頭部（顔）の向きを、右側に配置されたユーザＢの映像４９の方向に向け、また、映像４９内のユーザＢの黒目の位置、両眼の位置、または頭部（顔）の向きを、左側に配置されたユーザＡの映像４８の方向に向けるよう加工する。これにより、図１４に示すように、ユーザＡとユーザＢの視線が画面上で一致して表現され得る。さらに、情報処理装置１０Ｃは、映像４８および映像４９に「視線一致」といった通知表示を重畳表示してもよい。

また、情報処理装置１０Ｃは、「ユーザＤはユーザＢを見ている」という注視情報に基づいて、映像５０に映るユーザＤの黒目の位置、両眼の位置、または頭部（顔）の向きを、画面左のユーザＢの映像４９が配置されている方向に向けるよう加工し、図１４に示すように映像５０のユーザＤがユーザＢの方向に視線を向けて見えるようにする。

（表示例４）
図１５は、本実施形態による情報処理装置１０Ｄにおける画面表示例を示す図である。図１５は、本実施形態による情報処理装置１０Ｄにおける画面表示例を示す図である。図１５に示す例では、情報処理装置１０Ｄのディスプレイ１０３１Ｃの画面上に、ユーザＡの映像５２、ユーザＢの映像５３、ユーザＣの映像５４、および共有コンテンツである資料画像５５が並列に配置され、表示されている。

情報処理装置１０Ｄは、「視線一致：ユーザＡとユーザＢ」という視線ステータスに基づき、映像５２のユーザＡおよび映像５３のユーザＢの視線加工を行う。具体的には、情報処理装置１０Ｄは、映像５２内のユーザＡの黒目の位置、両眼の位置、または頭部（顔）の向きを、右側に配置されたユーザＢの映像５３の方向に向け、また、映像５３内のユーザＢの黒目の位置、両眼の位置、または頭部（顔）の向きを、左側に配置されたユーザＡの映像５２の方向に向けるよう加工する。これにより、図１５に示すように、ユーザＡとユーザＢの視線が画面上で一致して表現され得る。さらに、情報処理装置１０Ｄは、映像５２および映像５３に「視線一致」といった通知表示を重畳表示してもよい。

これにより、ユーザＤは、自身が視線を向けているユーザＢが、自分ではなくユーザＡを見ており、さらにユーザＡと視線が一致している状態であることが分かる。

また、情報処理装置１０Ｄは、「ユーザＣは資料の座標（x,y）を見ている」という注視情報に基づいて、ユーザＣが写る映像５４に「資料を見ています」といった通知表示を重畳表示する。

また、情報処理装置１０Ｄは、「ユーザＣは資料の座標（x,y）を見ている」という注視情報に基づいて、資料画像５５上の座標（x,y）に注視位置を示す表示やアイコンを重畳表示することで、ユーザＣが資料のどこを見ているかを明示する。

＜＜５．まとめ＞＞
上述したように、本開示の実施形態による情報処理システムでは、遠隔地をつなぐ映像コミュニケーションにおいて相手の視線をより自然に把握させることを可能とする。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上述した情報処理装置１０、または処理サーバ３０に内蔵されるＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、およびＲＡＭ（Random Access Memory）等のハードウェアに、情報処理装置１０、または処理サーバ３０の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、本技術は以下のような構成も取ることができる。
（１）
通信先装置からビデオ通信相手の撮像画像を受信する受信部と、
前記受信した撮像画像を表示部に表示するよう制御する制御部と、
を備え、
前記制御部は、前記撮像画像に写る通信相手が前記通信先装置で表示されているユーザを見ていることを示す情報に基づいて、前記撮像画像に写る通信相手の視線が前記表示部を見ているユーザに向いているように見えるよう前記撮像画像を画像処理して表示する、情報処理装置。
（２）
前記制御部は、前記撮像画像に写る通信相手の顔画像における瞳孔の位置、両目の位置、または頭部の向きを正面に向けるよう加工する、前記（１）に記載の情報処理装置。
（３）
前記情報処理装置は、前記表示部を見ているユーザを撮像した撮像画像を前記通信先装置へ送信する送信部をさらに備える、前記（１）または（２）に記載の情報処理装置。
（４）
前記制御部は、
前記表示部に対するユーザの視線を検出して前記表示部の画面上における注視位置を算出し；
算出した注視位置と前記表示部に表示されている通信相手の眼周辺の領域とを比較して、前記ユーザが前記通信相手を見ているか否かを判断し；
前記判断に基づいて、前記ユーザが通信相手を見ていることを示す情報を前記通信先装置に送信するよう制御する、前記（１）〜（３）のいずれか１項に記載の情報処理装置。
（５）
前記制御部は、
前記通信相手およびユーザが互いに相手を見ている状態か否かを判断し；
前記判断に基づいて、両者の視線が一致していることを示す情報を前記通信先装置に送信するよう制御する、前記（４）に記載の情報処理装置。
（６）
前記受信部は、複数の通信先装置から各ビデオ通信相手の撮像画像を受信し、
前記制御部は、
前記受信した撮像画像を表示部に並べて表示するよう制御し；
前記ユーザが前記表示部に表示されたどの通信相手を見ているかを判断し；
前記判断に基づいて、前記ユーザがどの通信相手を見ているかを示す情報を、前記複数の通信先装置と同期するよう制御する、前記（５）に記載の情報処理装置。
（７）
前記制御部は、前記表示部に表示された複数の通信相手の視線が一致していることを示す情報に基づいて、前記複数の通信相手が視線を合わせているように見えるよう、前記複数の通信相手の瞳孔の位置、両目の位置、または頭部の向きを加工する、前記（６）に記載の情報処理装置。
（８）
前記制御部は、
資料画像を前記表示部に表示するよう制御し；
前記算出した画面上におけるユーザの注視位置と前記表示部に表示される資料画像とを比較して、前記ユーザが前記資料画像を見ているか否かを判断し；
前記判断に基づいて、前記ユーザが資料画像を見ていることを示す情報を前記通信先装置に送信するよう制御する、前記（４）〜（７）のいずれか１項に記載の情報処理装置。
（９）
前記制御部は、前記表示部に表示された通信相手が資料画像を見ていることを示す情報に基づいて、前記表示部に並べて表示される資料画像上に、前記通信相手が注視している位置を明示する表示を重畳表示する、前記（８）に記載の情報処理装置。
（１０）
前記制御部は、前記通信相手がユーザを見ていないことを示す情報に基づいて、前記撮像画像に写る前記通信相手の視線を正面以外に向けるよう加工する、前記（１）〜（９）のいずれか１項に記載の情報処理装置。
（１１）
前記情報処理装置は、通信部を備え、
前記通信部は、前記撮像画像に写る通信相手が前記通信先装置で表示されているユーザを見ていることを示す情報をサーバから受信する、前記（１）〜（１０）のいずれか１項に記載の情報処理装置。
（１２）
前記通信部は、前記表示部に対する前記ユーザの視線に関する情報を前記サーバに送信する、前記（１１）に記載の情報処理装置。
（１３）
プロセッサが、
通信先装置からビデオ通信相手の撮像画像を受信することと、
前記受信した撮像画像を表示部に表示するよう制御することと、
前記撮像画像に写る通信相手が前記通信先装置で表示されているユーザを見ていることを示す情報に基づいて、前記撮像画像に写る通信相手の視線が前記表示部を見ているユーザに向いているように見えるよう前記撮像画像を画像処理して表示すること、
を含む、情報処理方法。
（１４）
コンピュータを、
通信先装置からビデオ通信相手の撮像画像を受信する受信部と、
前記受信した撮像画像を表示部に表示するよう制御する制御部と、
として機能させ、
前記制御部は、前記撮像画像に写る通信相手が前記通信先装置で表示されているユーザを見ていることを示す情報に基づいて、前記撮像画像に写る通信相手の視線が前記表示部を見ているユーザに向いているように見えるよう前記撮像画像を画像処理して表示する、プログラム。

１、２ 情報処理システム
１０（１０Ａ〜１０Ｄ） 情報処理装置
２０ ネットワーク
３０ 処理サーバ
１００制御部
１００ａ 映像・音声取得部
１００ｂ 操作情報取得部
１００ｃ コンテンツ取得部
１００ｄ 送信制御部
１００ｅ 注視位置特定部
１００ｆ 相手映像解析部
１００ｇ 注視対象判断部
１００ｈ 注視情報管理部
１００ｉ 相手映像処理部
１００ｊ 表示情報生成部
１００ｋ 注視情報提示制御部
１０１ 入力部
１０１１ カメラ
１０１２ マイク
１０１３ 視線センサ
１０２ 操作Ｉ／Ｆ
１０３ 出力部
１０３１ ディスプレイ
１０３２ スピーカ
１０３３ インジケータ
１０４ 通信部
１０５ 記憶部

Claims (12)

1. 通信先装置からビデオ通信相手の撮像画像を受信する受信部と、
   前記受信した撮像画像を表示部に表示し、前記撮像画像に写る通信相手が前記通信先装置で表示されているユーザを見ていることを示す情報に基づいて、前記撮像画像に写る通信相手の視線が前記表示部を見ているユーザに向いているように見えるよう前記撮像画像を画像処理して表示する制御部と、を備え、
   前記制御部は、前記表示部に対するユーザの視線を検出して前記表示部の画面上における注視位置を算出し；
   算出した注視位置と前記表示部に表示されている通信相手の眼周辺の領域とを比較して、前記ユーザが前記通信相手を見ているか否かを判断し；
   前記判断に基づいて、前記ユーザが通信相手を見ていることを示す情報を前記通信先装置に送信するよう制御し、
   さらに前記制御部は、
   資料画像を前記表示部に表示するよう制御し；
   前記算出した画面上におけるユーザの注視位置と前記表示部に表示される資料画像とを比較して、前記ユーザが前記資料画像を見ているか否かを判断し；
   前記判断に基づいて、前記ユーザが資料画像を見ていることを示す情報を前記通信先装置に送信するよう制御する、情報処理装置。
2. 前記制御部は、前記撮像画像に写る通信相手の顔画像における瞳孔の位置、両目の位置、または頭部の向きを正面に向けるよう加工する、請求項１に記載の情報処理装置。
3. 前記情報処理装置は、前記表示部を見ているユーザを撮像した撮像画像を前記通信先装置へ送信する送信部をさらに備える、請求項１または２に記載の情報処理装置。
4. 前記制御部は、
   前記通信相手およびユーザが互いに相手を見ている状態か否かを判断し；
   前記判断に基づいて、両者の視線が一致していることを示す情報を前記通信先装置に送信するよう制御する、請求項１〜３のいずれか１項に記載の情報処理装置。
5. 前記受信部は、複数の通信先装置から各ビデオ通信相手の撮像画像を受信し、
   前記制御部は、
   前記受信した撮像画像を表示部に並べて表示するよう制御し；
   前記ユーザが前記表示部に表示されたどの通信相手を見ているかを判断し；
   前記判断に基づいて、前記ユーザがどの通信相手を見ているかを示す情報を、前記複数の通信先装置と同期するよう制御する、請求項１〜４のいずれか１項に記載の情報処理装置。
6. 前記制御部は、前記表示部に表示された複数の通信相手の視線が一致していることを示す情報に基づいて、前記複数の通信相手が視線を合わせているように見えるよう、前記複数の通信相手の瞳孔の位置、両目の位置、または頭部の向きを加工する、請求項５に記載の情報処理装置。
7. 前記制御部は、前記表示部に表示された通信相手が資料画像を見ていることを示す情報に基づいて、前記表示部に並べて表示される資料画像上に、前記通信相手が注視している位置を明示する表示を重畳表示する、請求項１〜６のいずれか１項に記載の情報処理装置。
8. 前記制御部は、前記通信相手がユーザを見ていないことを示す情報に基づいて、前記撮像画像に写る前記通信相手の視線を正面以外に向けるよう加工する、請求項１〜７のいずれか１項に記載の情報処理装置。
9. 前記情報処理装置は、通信部を備え、
   前記通信部は、前記撮像画像に写る通信相手が前記通信先装置で表示されているユーザを見ていることを示す情報をサーバから受信する、請求項１〜８のいずれか１項に記載の情報処理装置。
10. 前記通信部は、前記表示部に対する前記ユーザの視線に関する情報を前記サーバに送信する、請求項９に記載の情報処理装置。
11. プロセッサが、
    通信先装置からビデオ通信相手の撮像画像を受信することと、
    前記受信した撮像画像を表示部に表示し、前記撮像画像に写る通信相手が前記通信先装置で表示されているユーザを見ていることを示す情報に基づいて、前記撮像画像に写る通信相手の視線が前記表示部を見ているユーザに向いているように見えるよう前記撮像画像を画像処理して表示するよう制御し、さらに、
    前記表示部に対するユーザの視線を検出して前記表示部の画面上における注視位置を算出し；
    算出した注視位置と前記表示部に表示されている通信相手の眼周辺の領域とを比較して、前記ユーザが前記通信相手を見ているか否かを判断し；
    前記判断に基づいて、前記ユーザが通信相手を見ていることを示す情報を前記通信先装置に送信するよう制御し、さらに、
    資料画像を前記表示部に表示するよう制御し；
    前記算出した画面上におけるユーザの注視位置と前記表示部に表示される資料画像とを比較して、前記ユーザが前記資料画像を見ているか否かを判断し；
    前記判断に基づいて、前記ユーザが資料画像を見ていることを示す情報を前記通信先装置に送信するよう制御すること、
    を含む、情報処理方法。
12. コンピュータを、
    通信先装置からビデオ通信相手の撮像画像を受信する受信部と、
    前記受信した撮像画像を表示部に表示し、前記撮像画像に写る通信相手が前記通信先装置で表示されているユーザを見ていることを示す情報に基づいて、前記撮像画像に写る通信相手の視線が前記表示部を見ているユーザに向いているように見えるよう前記撮像画像を画像処理して表示する制御部と、として機能させ、
    前記制御部は、前記表示部に対するユーザの視線を検出して前記表示部の画面上における注視位置を算出し；
    算出した注視位置と前記表示部に表示されている通信相手の眼周辺の領域とを比較して、前記ユーザが前記通信相手を見ているか否かを判断し；
    前記判断に基づいて、前記ユーザが通信相手を見ていることを示す情報を前記通信先装置に送信するよう制御し、
    さらに前記制御部は、
    資料画像を前記表示部に表示するよう制御し；
    前記算出した画面上におけるユーザの注視位置と前記表示部に表示される資料画像とを比較して、前記ユーザが前記資料画像を見ているか否かを判断し；
    前記判断に基づいて、前記ユーザが資料画像を見ていることを示す情報を前記通信先装置に送信するよう制御する、プログラム。
    

Images