JP3139100B2 - 多地点画像通信端末装置および多地点対話方式 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、多地点での画像通信に
おける利用者間での視線情報の伝達による臨場感向上お
よびグループ協同作業の効率化に関する。

【０００２】

【従来の技術】画像通信において利用者間での視線の一
致を目的として半透鏡を利用する方法としては、従来で
は図１３（特開昭６２−２６９１２８号公報，特開昭６
３−２５２０８４号公報，特開平１−１７５４７６号公
報参照）および図１４（特開昭６１−６５６８３号公
報、特開平３−１１０９８７号公報）に示す方法があ
る。

【０００３】図１３において画像表示装置１３０２から
出た光は一部が半透鏡１３０１で反射され利用者１３０
７へ届く。撮像装置１３０３は半透鏡を通して利用者１
３０７を撮影する。さらに、利用者１３０７が画像表示
装置１３０２の表示画像の反射像と撮像装置１３０３を
重ね合わさって見る場合には、利用者が反射像を直視し
つつ撮像装置が利用者の正視画像を撮影するため、この
装置を用いて相互に画像通信を行う場合には、利用者間
でこの装置を用いることにより利用者間の視線を一致さ
せることができる。

【０００４】図１４において利用者１４０７は半透鏡１
４０１を通して直接に画像表示装置１４０２上の表示画
像を見る。また、撮像装置１４０３は半透鏡１４０１の
反射を介して利用者１４０７を撮影する。利用者１４０
７が画像表示装置１４０２の表示画像と撮像装置１４０
３の反射像を重ね合わさって見る場合には、利用者が反
射像を直視しつつ撮像装置が利用者の正視画像を撮影す
るため、この装置を用いて相互に画像通信を行う場合に
は、利用者間でこの装置を用いることにより利用者間の
視線を一致させることができる。

【０００５】複数の地点と画像をやりとりしながら通信
を行う環境において、利用者間の視線方向を一致させる
従来例には図１５（特開平２−５０６９１号公報参照）
に示す方法がある。図１５において、遠隔地の利用者の
顔画像Ｘ１５０１に対してビデオカメラ１５１０を、顔
画像Ｙ１５０２に対してはビデオカメラ１５２０をそれ
ぞれ設置し、それぞれのビデオカメラは通信者１５０７
を撮影する。撮影した画像は表示画像の送信元へそれぞ
れ送る。通信者１５０７が顔画像Ｘ１５０１を注視して
いる場合には、ビデオカメラ１５１０で撮影した通信者
１５０７の画像を顔画像Ｘ１５０１の送信元へ送信し、
顔画像Ｙ１５０２を注視している場合には、ビデオカメ
ラ１５２０で撮影した通信者１５０７の画像を顔画像Ｙ
１５０２の送信元へ送ることになる。これにより、利用
者が注視している画像に対応する対地に対しては視線の
一致した利用者顔画像を送信し、利用者が注視していな
い顔画像に対応する対地に対しては視線をはずした利用
者の顔画像を送信する。

【０００６】人と人とが互いに向かい合って意志を伝達
する際には、言語的情報の他に表情や動作、視線、周囲
の様子などの非言語的な情報も伝達される。非言語的情
報は円滑にコミュニケーションを行う上で重要であり、
中でも視線の伝達は意志伝達の方向づけ、聞き手の覚醒
や興味の持続、話し手や聞き手の心理状況の把握など多
くの効果を持つ。

【０００７】画像、特に動画像通信では、遠隔地の相手
と非言語的情報の一部を含む幅広い視覚情報が伝達でき
るようになるため音声のみの通信に比べて臨場感がある
とされている。しかし、従来のテレビ電話やテレビ会議
システムに代表される多地点動画像通信システムでは、
利用者間で視線を一致させることができず、その結果、
臨場感は意志伝達の効率を著しく低下させている。

【０００８】本発明の第１の目的は、互いに画像をやり
とりしながら通信を行っている各利用者が互いの視線を
一致できるようにし意志伝達が円滑に行われるようにす
ることである。

【０００９】人が会話をする場合には互いの位置関係が
心理的に重要な意味を持ち作業効率にも影響する。従っ
て、画像通信の場合にも相手画像の大きさや位置、距離
感覚の違いが心理的作用の違いとなって現れ作業効率に
も影響すると考えられるため、各利用者毎に相手画像を
自由に配置できることが望ましい。さらに、複数の相手
と通信をする場合には画像毎に独立して自由に配置でき
ることが望ましい。

【００１０】しかし、従来の利用者間の視線を一致させ
る画像通信装置やテレビ会議システムでは画像表示装置
が床面などに固定設置されるため、相手画像の表示位置
を変更するためには人間が画像表示装置を手動により移
動する、または、複数の画像表示装置が設置されている
場合には出力する画像表示装置を切替制御する、また
は、相手画像が画像表示装置の表示面よりも小さい場合
には表示面上での相手画像の表示位置を変更するなどの
方法をとるため、奥行き方向を含めた任意の方向へ連続
的かつ自由な画像配置ができない。

【００１１】本発明の第２の目的は、利用者間の視線一
致を保ちつつ、利用者から見た相手画像の表示位置を、
奥行き方向を含めて自由に移動し設定できるようにし、
各利用者が最適な位置に相手画像を配置できるようにす
ることである。

【００１２】対面での会議では、話し手や聞き手の顔の
向きや視線がわかるため、話し手の伝達意志や聞き手の
興味の有無も非言語的に伝達される。さらに、意識的に
視線をずらすなどの話法や話術なども円滑なコミュニケ
ーションやプレゼンテーションを行うために利用され
る。従って、各利用者の視線がどの利用者に対して向け
られ、かつ、どの利用者間で視線一致が成立しているか
を知ることは、複数の利用者が同時に会して意志伝達を
行う場合に重要な意味を持つ。

【００１３】しかし、従来は遠隔地の利用者同士が対話
をする場合には、誰がどの利用者に視線を向けているか
が正確にはわからなかった。

【００１４】本発明の第３の目的は、複数の利用者が互
いに画像をやりとりしながら通信を行う場合に、各利用
者が他のどの利用者に視線や顔を向けているかが視覚的
にわかるようにすることで画像通信での臨場感を高め、
効果的な意志伝達を実現することである。

【００１５】

【課題を解決するための手段】第１の発明の多地点画像
通信端末装置は、複数の発信源から送られてきた画像を
同時表示しながら通信を行う環境において、一つの半透
鏡と複数の画像表示装置とこの画像表示装置と同数の撮
像装置とを備えて成り、端末利用者が前記半透鏡での反
射を介して前記画像表示装置の表示画像が見えるように
前記画像表示装置を配置し、かつ、前記半透鏡の反射に
より生成される前記画像表示装置の前記表示画像の複数
の反射像それぞれについて反射像上に反射像代表点を一
つずつ選び、その反射像代表点と前記端末利用者の視点
を通る直線上でかつ前記反射像代表点かまたは前記反射
像代表点よりも遠方に前記撮像装置をそれぞれ設置し、
遠隔地の利用者から送られてきた画像を複数の前記画像
表示装置が表示し、前記画像表示装置の表示画像を前記
半透鏡へ投影し、かつ、前記端末利用者が視線を向けた
画像に対応する前記撮像装置がその画像の発信源に対し
て前記端末利用者の正視画像を送り、前記端末利用者が
視線を向けていない画像に対応する前記撮像装置がその
画像の発信源に対しては前記利用者の視線が正視位置か
らずれた前記利用者の画像を送ることにより、複数の利
用者と選択的に視線を一致させることができることを特
徴とする。

【００１６】第２の発明の多地点画像通信端末装置は、
第１の発明において、前記画像表示装置の位置を変える
画像表示装置用駆動装置と、前記撮像装置の位置を変え
る撮像装置用駆動装置とを備えて成り、利用者の画像表
示装置制御要求に従って画像表示装置を移動し、あるい
は利用者の撮像装置制御要求に従って撮像装置の位置を
変えることにより、複数の利用者と選択的に視線を一致
させることができ、かつ、反射像の位置と反射像の面の
向きを自由に変更し自由な画像配置ができることを特徴
とする。

【００１７】第３の発明の多地点対話方式は、第１の発
明または第２の発明の多地点画像通信端末装置のいずれ
かを各地に設置しＮ地点（Ｎ＞２）で通信を行う環境に
おいて、各地点に設置された前記多地点画像通信端末装
置においてＮ−１個の反射像代表点と端末利用者の視点
とが正Ｎ角形を形成するように各地の前記多地点画像通
信端末装置を設定し、さらに、各地の前記多地点画像通
信端末装置において端末利用者の視点を原点とし前記正
Ｎ角形を用いて正規化された各前記多地点画像通信端末
装置間で共通する座標系を考えた場合に、前記端末利用
者の視点を通り前記正Ｎ角形を垂直に２等分する平面に
対して端末上の反射像の反射像代表点と面対称の関係に
ある点の座標と、前記反射像に対応する遠隔地の端末上
における自画像の反射像代表点の座標とがそれぞれ一致
するように画像信号のやりとりを行うことにより、互い
に視線を向けている複数の前記端末利用者間での視線が
一致し、かつ、自分以外の遠隔地の端末利用者が視線や
顔を向けている端末利用者を特定することができること
を特徴とする。

【００１８】

【作用】第１の発明の多地点画像通信端末装置によれ
ば、遠隔地にいる利用者から送られてきた複数の画像信
号が複数の画像表示装置に送られ、その表示画像が半透
鏡へ投影され、それぞれの表示画像に対応する反射像が
生成される。利用者は相手から送られてきた画像を半透
鏡を介して反射像として見る。反射像ごとに設置された
複数の撮像装置は反射像を透過して利用者の画像を撮影
し、その画像信号が反射像に対応する遠隔地の利用者へ
送る。互いに視線を向けている利用者間では互いに正視
画像をやりとりするため利用者間での視線が一致する。

【００１９】第２の発明の多地点画像通信端末装置によ
れば、利用者からの画像表示装置制御要求に従って画像
表示装置駆動装置が画像表示装置を移動することによ
り、半透鏡が生成する反射像の位置が移動する。利用者
の撮像装置制御要求に従って、撮像装置駆動装置が撮像
装置の位置を移動する。

【００２０】第３の発明の多地点対話方式によれば、互
いに画像通信を行うＮヵ所（Ｎ＞２）の各地点に第１の
発明または第２の発明の多地点画像通信端末装置を配置
し、各地点に設置された多地点画像通信端末装置それぞ
れについてＮ−１個の反射像代表点と端末利用者の視点
とが正Ｎ角形を形成するように各地の多地点画像通信端
末装置を設定する。さらに、各地の多地点画像通信端末
装置において、端末利用者の視点を原点とし正Ｎ角形を
用いて正規化した各多地点画像通信端末装置間で共通す
る座標系を考え、端末利用者の視点を通り正Ｎ角形を垂
直に２等分する平面に対して端末上の反射像の反射像代
表点と面対称の関係にある点の座標と、この反射像に対
応する遠隔地の端末上における自画像の反射像代表点の
座標とがそれぞれ一致するような画像信号のやりとりを
行う。利用者は相手から送られてきた画像を半透鏡を介
して反射像として見る。反射像ごとに設置された複数の
撮像装置は反射像を透過して利用者の画像を撮影し、そ
の画像信号が反射像に対応する遠隔地の利用者へ送られ
る。互いに視線を向けている利用者間では互いに正視画
像をやりとりするため、利用者間での視線が一致する。
自分以外の遠隔地の端末利用者間で視線が一致している
場合には、反射像上の人物画像同士で視線が一致してい
るように見える。

【００２１】

【実施例】第１の発明の実施例について、図面を用いて
説明する。図１に本発明の多地点画像通信端末装置の一
実施例の構成図を示す。この多地点画像通信端末装置に
おいて、複数の利用者は互いに視線を一致させて通信を
行うことができる。

【００２２】各利用者を撮影した複数の画像信号１８０
が複数の画像表示装置１０２に伝えられ、画像表示装置
の表示画像１０４が半透鏡１０１へ投影され反射像１０
５を生成する。また、撮像装置１０３は端末利用者１０
８の視点１０７から半透鏡１０１を見たときに反射像１
０５の後方に反射像１０５と重なる位置に設置し、端末
利用者１０８を撮影する。撮像装置１０３からその反射
像１０５に対応する利用者へ、端末利用者１０８の画像
信号１９０が送られる。本実施例では画像表示装置を半
透鏡よりも上部に設置する構成をとっているが、画像表
示装置を半透鏡よりも下部に設置した場合には、多地点
画像通信端末装置の構造上の重心を低くできるなどの利
点があり設計面で有利である。

【００２３】本発明における光学系について説明する。
図２は遠隔地３地点と通信を行う例である。反射像代表
点１０９に対応する表示画像１０４上の１点２０１から
発生した光は光軸２８０に沿って進み半透鏡１０１にお
いて反射され光軸２８１に沿って進み端末利用者の視点
１０７へ届く。表示画像１０４上の全ての点が半透鏡１
０１において反射され視点１０７へ届くことにより、端
末利用者は表示画像１０４を反射像１０５として見る。
撮像装置１０３の撮影軸１７１と光軸２８１をそれぞれ
一致させる。図２では視点１０７と光軸２８１と撮影軸
１７１が同一平面上にあり、かつ、撮影軸１７１と各反
射像１０５の中心が垂直に交わる場合における光学系を
示した。ただし、視線一致のためには撮影軸１７１と光
軸２８１はそれぞれ一致させる必要があるが、複数の光
軸２８１が同一平面上にある必要はない。また、通信相
手との視線を厳密に一致させるためには反射像代表点１
０９として相手の顔画像の目の部分の１点を選び光軸２
８１と撮影軸１７１とを一致させる。

【００２４】反射像代表点を基準に光学系を設定する場
合などにおける反射像代表点の選び方について詳しく説
明する。各反射像上の反射像代表点には、反射像が顔画
像の場合には通常は端末利用者の目または眉間に相当す
る点や反射像の中心点などを採用する。ただし、動画像
を通信している際には遠隔地の利用者画像は絶えず動い
ており目の位置もそれにつれて絶えず移動するため、反
射像代表点として相手画像の目の部分が最も頻度が高く
位置する点を選ぶといった方法が効果的である。端末利
用者の視点と各反射像との距離が大きい場合や、資料な
どの画像を送る場合には、反射像代表点の位置が及ぼす
影響は小さくなり、従って、反射像代表点として単純に
反射像の中心点などを選んでも本発明の効果は得られ
る。

【００２５】図３は通信地点３００には本発明の多地点
画像通信端末装置を、地点３０１と地点３０２には従来
からの２者間での視線一致が可能な画像通信用端末装置
をそれぞれ設置して通信を行う例である。図において地
点３０１では撮像装置３１３によって撮影された画像が
画像信号３８１として、地点３０２からは撮像装置３２
３によって撮影された画像が画像信号３８２として、そ
れぞれが地点３００の画像表示装置１０２に送られる。
地点３００で撮像装置１０３によりそれぞれ生成された
画像信号３９１は地点３０１へ、画像信号３９２は地点
３０２へ送られる。この例では地点３０１と地点３０２
では画像のやりとりは行われないが、地点３０１の利用
者と地点３０２の利用者が通信を介さずに直接対話でき
る場合には、３者で視線が一致した対話が可能となる。
なお図中、３１１，３２１は半透鏡、３１２，３２２は
画像表示装置、３１４，３２４は表示画像である。

【００２６】図４は本発明の多地点画像通信端末装置
を、地点４０１，４０２，４０３の３地点に設置し利用
者相互を１対１に接続して画像通信を行う例である。こ
の例では、互いに視線を向けている複数の利用者間での
視線が一致し、かつ、互いに視線を向けていない複数の
利用者間では視線が一致しない画像のやりとりが行える
ため、従来よりも臨場感のよい画像通信が行える。なお
図中、４１２，４１３，４２１，４２３，４３１，４３
２は画像信号を示している。

【００２７】第２の発明の実施例について、図面を用い
て説明する。図５に本発明の多地点画像通信端末装置の
一実施例の構成図を示す。本実施例では第１の発明の多
地点画像通信端末装置において、画像表示装置１０２に
画像表示装置駆動装置５０１を、かつ、撮像装置１０３
に撮像装置駆動装置５０２を備えることにより、多地点
画像通信端末装置内の全ての画像表示装置１０２と撮像
装置１０３の位置を移動することができ、画像表示装置
１０２の反射像１０５の位置を利用者が希望する位置に
移動し、かつ、反射像１０５の移動にともない撮像装置
１０３を移動し遠隔地の利用者と視線が一致した画像通
信を行うことができる。利用者の画像表示装置移動要求
５７１が画像表示装置駆動装置５０１に伝えられ、画像
表示装置駆動装置５０１が画像表示装置１０２を利用者
によって指定された位置へ移動する。また、利用者の撮
像装置移動要求５７２が撮像装置駆動装置５０２に伝え
られ、撮像装置駆動装置５０２が撮像装置１０３を利用
者によって指定された位置へ移動する。

【００２８】画像表示装置駆動装置について図６を用い
て詳しく説明する。画像通信では通常は相手画像には正
立画像を選ぶので、初期調整時、または、特殊な効果を
狙う場合等を除き、相手画像を任意に回転させて表示す
る必要は生じない。この点を考慮した実際の利用場面で
の反射像の移動には図６（ａ）に示したような、鉛直方
向６０１（反射像座標軸６８１の方向）と半透鏡１０１
に対する左右方向６０２（反射像座標軸６８２の方向）
と、半透鏡に対する前後方向６０３（反射像座標軸６８
３の方向）の平行移動、さらに、図６（ｂ）に示すよう
な利用者の視線に対する表示面の座標軸６９１に対する
回転移動６０５と、座標軸６９２に対する回転移動６０
６が挙げられる。図６（ｂ）では座標軸６９１と座標軸
６９２に関する移動以外は、反射像の移動方向として直
交座標系をとっているが、同様な効果は利用者の視点を
中心とする回転座標系によって移動する方法でも得られ
る。この場合には反射像表示位置の利用者からの距離の
変更、利用者からの仰角の変更、左右方向への移動が効
果的である。また、直交系と回転系の間の座標変換は容
易であり、座標変換のための数値処理装置を画像表示装
置駆動装置に付加することで、直交座標系の移動は回転
座標系の移動で、また、回転座標系の移動は直交座標系
の移動で行うことができる。以上述べた反射像の移動は
対応する画像表示装置を移動させることによって実現で
きる。反射像を移動させるための画像表示装置の移動例
として、図６（ｃ）に示すように反射像の移動６０２に
対応する画像表示装置１０２の移動６１２と、図６
（ｄ）に示すように反射像の面が座標軸６９１に対して
回転移動６０５をする場合に対応する画像表示装置１０
２の移動６１５とが挙げられる。なお図６（ｃ），
（ｄ）において、６９４は画像表示装置回転軸である。

【００２９】次に、撮像装置駆動装置について図７を用
いて詳しく説明する。撮像装置の位置や姿勢は撮影画像
に直接反映される。撮影装置の移動は撮影範囲の選択の
ほかに利用者の視線を検出する方向を決定する上でも重
要であり、効果的な画像通信を行うためには撮像装置の
位置や姿勢は自由に設定できる必要がある。実際の画像
通信の利用では通常は相手画像には正立画像を選ぶの
で、初期調整時、または、特殊効果を狙う場合などを除
き、相手画像が回転する方向に撮像装置を任意に回転で
きる必要はない。従って、実際の利用場面での撮像装置
の移動例には図７（ａ）に示すような、鉛直方向７０１
（撮像装置座標軸７８１の方向）と水平方向７０２（撮
像装置座標軸７８２の方向）と奥行き方向７０３の平行
移動、さらに、図７（ｂ）に示すような、利用者の視線
に対する表示面のＣ軸７９１に対する回転移動７０５と
Ｄ軸７９２に対する回転移動７９６が挙げられる。図７
では撮像装置の平行移動の方向は直交座標系をとってい
るが、画像表示装置駆動装置で述べたように利用者の視
点を中心とした回転座標系をとることもできる。撮像装
置にズーム機能がある場合には、利用者に対して奥行き
方向へ移動させる必要性はなくなり、撮像装置駆動装置
の可動自由度が減らせるため撮像装置駆動装置の機構が
簡単にできる。奥行き方向７０３の平行移動など撮像装
置の移動に伴い撮像装置の焦点を調節する必要が生ずる
場合があるが、自動焦点機能をもつ撮像装置を使用する
ことにより利用者の焦点調節作業を解消できる。

【００３０】図８に画像表示装置駆動装置と撮像装置駆
動装置の一例としての構成図を示す。利用者から利用者
操作要求８２０が利用者操作要求入力インタフェース８
００に入力され、画像表示装置移動要求８２１と撮像装
置移動要求８３１とに分離される。画像表示装置移動要
求８２１は画像表示装置駆動装置制御部８０１へ送ら
れ、画像表示装置移動要求８２１の内容に従って指定さ
れた移動を行うために必要な画像表示装置駆動装置動力
部８０２，８０３へ画像表示装置駆動制御信号８２２，
８２３をそれぞれ送り指定された移動を行う。また、撮
像装置移動要求８３１は撮像装置駆動装置制御部８１１
へ送られ、撮像装置移動要求８３１の内容に従って指定
された移動を行うために必要な撮像装置駆動装置動力部
８１２，８１３，８１４へ撮像装置駆動制御信号８３
２，８３３，８３４をそれぞれ送り指定された移動を行
う。図８に示す例では、レール８０９は図６における座
標軸６９２と、レール８１０は図７における座標軸７９
２と、レール８１５は図７における座標軸７８１にそれ
ぞれ平行に設置されている。また、画像表示装置支持棒
８０６は回転軸６９４に対応し、撮像装置支持棒８０７
は回転軸７９２に対応している。画像表示装置駆動装置
動力部と撮像装置駆動装置動力部は各レール上を平行移
動またはレール上にて回転動作を行うことにより画像表
示装置や撮像装置の移動を行う。画像表示装置駆動装置
動力部８０２は図６における移動６１５に、画像表示装
置駆動装置動力部８０３は図６における移動６１２にそ
れぞれ対応する移動を行う。また、撮像装置駆動装置動
力部８１２は図７における移動７０５と移動７０１に、
撮像装置駆動装置動力部８１３は図７における移動７０
６に、撮像装置駆動装置動力部８１４は図７における移
動７０２にそれぞれ対応する移動を行う。なお、図中、
８０８，８１８はレールガイドである。

【００３１】第１の発明および第２の発明の実施例とし
て示した多地点画像通信端末装置において利用者間の視
線が一致する光学系を構築する方法の一例を示す。ただ
し、第１の発明における画像表示装置と撮像装置の移動
は手動で行うとする。図１または図５において利用者が
画像表示装置１０２を移動し反射像１０５または反射像
代表点１０９が端末利用者が希望する位置に移動したの
ち、反射像１０５を参照しながら対応する画像表示装置
１０２を反射像１０５または反射像代表点１０９と撮像
装置１０３が利用者からみて重なって見えるように移動
する。また別の方法として、撮像装置１０３を所定の位
置へ移動したのち、対応する反射像１０５や反射像代表
点が撮像装置１０３と重なって見えるように画像表示装
置１０２を移動することでも、利用者間で視線が一致す
る光学系を構築することができる。

【００３２】第１の発明および第２の発明の実施例とし
て示した多地点画像通信端末装置において、半透鏡によ
る画像の反転を修正し利用者が正しい左右関係の画像を
見るようにする方法について述べる。本発明の実施例の
ように表示画像を鏡に反射させて表示する方式では反射
によって画像の反転が生ずるため、反射像として正しい
画像を得るためには画像表示装置の表示画面上であらか
じめ画像を反転させて表示する必要がある。反転表示さ
せる方法には、左右が反転した画像を表示するためには
画像表示装置の描画走査の方向を反転させる方法、画像
表示装置と半透鏡の間に鏡をおいた光学系を構成し画像
を反転させる方法、撮像装置と被写体の間に鏡をおいた
光学系を構成し撮像装置側で画像を反転させる方法、撮
像装置が生成した画像信号を数値化して順次メモリに蓄
積し蓄積方向とは逆向きにメモリから読み出し画像信号
へ変換するまどの画像信号処理による方法が挙げられ
る。

【００３３】第３の発明の実施例について、図面を用い
て説明する。図９に本発明の多地対話方式の一実施例と
して概略図を示す。本発明の多地点画像通信端末におい
て、複数の端末利用者は互いに視線を一致させ、かつ、
自分以外の遠隔地の端末利用者が視線や顔を向けている
端末利用者を特定することができるようになる。第１の
発明および第２の発明の多地点画像通信端末装置を各地
点に設置し端末利用者９０３と遠隔地の端末利用者９０
１および９０２の３者が画像通信を行う場合において、
遠隔地の端末利用者９０１と端末利用者９０２から送信
された画像９１３と９２３が多地点画像通信端末装置の
画像表示装置に送られ、その表示画像が半透鏡に投影さ
れ、端末利用者９０１に対応する反射像９５１と、端末
利用者９０２に対応する反射像９５２が生成される。こ
の反射像９５１および反射像９５２上のそれぞれに反射
像代表点９５３，９５４をとり、この反射像代表点９５
３，９５４と端末利用者の視点９０７の３点が正三角形
を形成するように画像通信端末装置の光学系を設定す
る。以上の光学系の設定を実施することにより、端末利
用者が反射像９５１に視線を向けたときには端末利用者
９０１に撮像装置９６１で撮影した端末利用者９０３の
正視画像９３１を送り、同様に、端末利用者９０３が反
射像９５２に視線を向けたときには端末利用者９０２に
撮像装置９６２で撮影した端末利用者９０３の正視画像
９３２を送る。ここで、端末利用者９０３が反射像９５
１に視線を向け、かつ端末利用者９０１が端末利用者９
０３に自分の正視画像を送った場合には、端末利用者９
０３と端末利用者９０１との間で視線が一致する。同様
に、端末利用者９０３が反射像９５２に視線を向け、か
つ端末利用者９０２が端末利用者９０３に自分の正視画
像を送った場合には、端末利用者９０３と端末利用者９
０２との間で視線が一致する。さらに、利用地点９０１
が端末利用者９０２に自分の正視画像を送り、かつ端末
利用者９０２が端末利用者９０１に自分の正視画像を送
った場合には、端末利用者９０１と端末利用者９０２の
間で視線が一致し、さらに端末利用者９０３側の端末で
は、端末利用者９０１と端末利用者９０２とは視線が一
致させることはできない。なお図９において、９７１，
９７２は撮像装置撮影軸を示している。

【００３４】さらに、各地の多地点画像通信端末装置に
おいて画像反転が修正されており、かつ、端末利用者の
視点を原点とし正Ｎ角形を用いて正規化した各多地点画
像通信端末装置間で共通する座標系を考え、各端末利用
者の視点を通り正Ｎ角形を垂直に２等分する平面に対し
て端末上の各反射像の反射像代表点と面対称の関係にあ
る点の座標と、反射像に対応する遠隔地の端末上におけ
る自画像の反射像代表点の座標とが一致するような画像
信号のやりとりを行う。このような画像のやりとりを行
う例を図１０に示した。この例では自分以外の遠隔地の
端末利用者間で視線一致の様子がわかる。例えば、自地
点が地点１００３と仮定した場合に、地点１００１と地
点１００２の端末利用者間において支線が一致している
ときには地点１００３の端末上では地点１００２と地点
１００２の反射像である人物画像同士が視線を交わして
いるように見えるため自分以外の利用者の視線一致の様
子がわかり、実際に対面して対話を行う環境に近いもの
となる。

【００３５】４地点間で画像のやりとりを行う場合の多
地点対話方式の一実施例を説明する。４地点間で通信を
行う場合には、各地点に設置された多地点画像通信端末
装置の光学系を反射像代表点と端末利用者の視点が正方
形を形成するように設定する。図１１に４地点間での画
像をやりとりする場合の画像通信端末の光学系を示す。
第１の発明または第２の発明の多地点画像通信端末装置
を各地点に設置し、端末利用者１１０４と遠隔地の端末
利用者１１０１および１１０２，１１０３の３者が画像
通信を行う場合において、遠隔地の端末利用者１１０１
と１１０２と１１０３から送信された画像１１１４と１
１２４と１１３４が多地点画像通信端末装置の画像表示
装置に送られ、その表示画像が半透鏡に投影され、端末
利用者１１０１に対応する反射像１１５１と、端末利用
者１１０２に対応する反射像１１５２と、端末利用者１
１０３に対応する反射像１１５３とが生成される。図９
に示した３地点での通信の時と同様に各反射像上にそれ
ぞれ反射像代表点１１５４，１１５５，１１５６をと
り、この反射像代表点１１５４，１１５５，１１５６と
端末利用者の視点１１０７の４点が正方形を形成するよ
うに画像通信端末の光学系を設定する。各反射像上の反
射像代表点には、反射像が顔画像の場合には端末利用者
の目または眉間に相当する点を採用するが、端末利用者
１１０３と各反射像との距離が大きい場合や通信してい
るのが顔画像でない場合には、反射像代表点として反射
像の中心などを選んでも障害は発生しない。以上のよう
な光学系の設定を実施することにより、端末利用者１１
０４が反射像１１５１に視線を向けたときには端末利用
者１１０１に撮像装置１１６１で撮影した端末利用者１
１０４の正視画像１１４１を送り、同様に、端末利用者
１１０４が反射像１１５２に視線を向けたときには端末
利用者１１０２に撮像装置１１６２で撮影した端末利用
者１１０４の正視画像１１４２を送り、端末利用者１１
０４が反射像１１５３に視線を向けたときには端末利用
者１１０３に撮像装置１１６３で撮影した端末利用者１
１０４の正視画像１１４３を送るといったことができ
る。これにより端末利用者間が互いの画像を見ている場
合には、それぞれの端末利用者間で視線が一致した画像
通信が実現できる。

【００３６】図１０で示した通信を３地点間から４地点
間へ拡張した例が図１２である。４地点以上での画像通
信の場合には単一の仮想対話空間上で複数の独立した視
線一致利用者対が同時に生成できる。例えば図１２にお
いて、地点１２０１と地点１２０２の利用者同士が視線
を一致している同時刻に、地点１２０３と地点１２０４
の利用者同士で視線一致が可能となる。

【００３７】

【発明の効果】以上説明した通り、本発明が提供する多
地点画像通信端末装置および多地点対話方式を用いるこ
とにより、複数の利用者が互いに画像をやりとりしなが
ら通信を行う場合に、各利用者が他の利用者の視線方向
や顔の向きを知覚できるようになり画像通信での臨場感
が高まり効果的な意志伝達ができるといった効果があ
る。

【図面の簡単な説明】

【図１】第１の発明の一実施例を示す多地点画像通信端
末の構成図である。

【図２】第１の発明の一実施例における光学系を示す図
である。

【図３】第１の発明の実施例と従来型画像通信端末とを
用いた３地点動画像通信の様子を示す図である。

【図４】第１の発明の実施例を用いた３地点での画像通
信の様子を示す図である。

【図５】第２の発明の一実施例を示す多地点画像通信端
末の構成図である。

【図６】第２の発明の実施例における画像表示装置の移
動方向の説明および移動方向の一例を示す図である。

【図７】第２の発明の実施例における撮像装置の移動方
向の一例を示す図である。

【図８】第２の発明の一実施例における画像表示装置駆
動装置と撮像装置駆動装置の構成例を示す図である。

【図９】第３の発明の一実施例を示す３地点を結んだ場
合の多地点対話方式の基本構成図である。

【図１０】第３の発明の一実施例を示す３地点を結んだ
場合の多地点対話方式の構成図である。

【図１１】第３の発明の一実施例を示す４地点を結んだ
場合の多地点対話方式の基本構成図である。

【図１２】第３の発明の一実施例を示す４地点を結んだ
場合の多地点対話方式の構成図である。

【図１３】従来の視線一致型画像通信端末の構成図であ
る。

【図１４】従来の視線一致型画像通信端末の構成図であ
る。

【図１５】従来の多地点通信用の視線一致型画像通信端
末の構成図である。

【符号の説明】

１０１，３１１，３２１ 半透鏡 １０２，３１２，３２２ 画像表示装置 １０３，３１３，３２３，９６１，９６２，１１６１，
１１６２，１１６３撮像装置 １０４，３１４，３２４ 表示画像 １０５，９５１，９５２，１１５１，１１５２，１１５
３ 反射像１０７，９０７，１１０７，１３０７，１４０７ 端末
利用者視点 ３００，４０１，４０２，４０３，９０１，９０２，９
０３，１００１，１００２，１００３，１１０４，１２
０１，１２０２，１２０３，１２０４ 通信地点または
端末利用地点であり、具体的には通信端末や通信環境や
端末利用者のことを指す １０８，１５０７ 端末利用者または通信者 １０９ 反射像に含まれる反射像を代表する点 １７１，９７１，９７２，１１７１，１１７２，１１７
３ 撮像装置撮影軸 １８０，１９０，３８１，３８２，３９１，３９２，４
１２，４２１，４２３，４３２，４１３，４３１，９１
３，９３１，９２３，９３２，１１１４，１１４１，１
１２４，１１４２，１１３４，１１４３ 画像信号 ２０１ 反射像代表点に対応する表示画像上の点２８０，２８１ 画像表示装置光軸 ３０１，３０２ 従来型端末の利用地点であり、具体的
には通信端末や通信環境のことを指す ５０１ 画像表示装置駆動装置 ５０２ 撮像装置駆動装置 ５１１ 画像表示装置支持手段 ５１２ 撮像装置支持手段 ５７１ 画像表示装置駆動要求 ５７２ 撮像装置駆動要求 ６０１，６０２，６０３ 反射像平行移動方向 ６０５，６０６ 反射像回転移動方向 ６１２ 画像表示装置平行移動方向 ６１５ 画像表示装置回転移動方向 ６８１，６８２，６８３ 反射像座標軸 ６９１，６９２，６９６ 反射像回転軸 ６９４ 画像表示装置回転軸 ７０１，７０２，７０３ 撮像装置平行移動方向 ７０５，７０６ 撮像装置回転移動方向 ７８１，７８２，７８３ 撮像装置座標軸 ７９１，７９２ 撮像装置回転軸 ８００ 利用者操作要求入力インタフェース ８０１ 画像表示装置駆動装置制御部 ８０２，８０３ 画像表示装置駆動装置動力部 ８０６ 画像表示装置支持棒 ８０７ 撮像装置支持棒 ８０８，８１８ レールガイド ８０９，８１０，８１５ レール ８１１ 撮像装置駆動装置制御部 ８１２，８１３，８１４ 撮像装置駆動装置動力部 ８２０ 利用者操作要求 ８２１ 画像表示装置移動要求 ８２２，８２３ 画像表示装置駆動制御信号 ８３１ 撮像装置移動要求 ８３２，８３３，８３４ 撮像装置駆動制御信号 １５０１ 顔画像Ｘ １５０２ 顔画像Ｙ１５１０，１５２０ ビデオカメラ

Claims (3)

(57)【特許請求の範囲】
1. 【請求項１】複数の発信源から送られてきた画像を同時
   表示しながら通信を行う環境において、一つの半透鏡と
   複数の画像表示装置とこの画像表示装置と同数の撮像装
   置とを備えて成り、端末利用者が前記半透鏡での反射を
   介して前記画像表示装置の表示画像が見えるように前記
   画像表示装置を配置し、かつ、前記半透鏡の反射により
   生成される前記画像表示装置の前記表示画像の複数の反
   射像それぞれについて反射像上に反射像代表点を一つず
   つ選び、その反射像代表点と前記端末利用者の視点を通
   る直線上でかつ前記反射像代表点かまたは前記反射像代
   表点よりも遠方に前記撮像装置をそれぞれ設置し、遠隔
   地の利用者から送られてきた画像を複数の前記画像表示
   装置が表示し、前記画像表示装置の表示画像を前記半透
   鏡へ投影し、かつ、前記端末利用者が視線を向けた画像
   に対応する前記撮像装置がその画像の発信源に対して前
   記端末利用者の正視画像を送り、前記端末利用者が視線
   を向けていない画像に対応する前記撮像装置がその画像
   の発信源に対しては前記利用者の視線が正視位置からず
   れた前記利用者の画像を送ることにより、複数の利用者
   と選択的に視線を一致させることができることを特徴と
   する多地点画像通信端末装置。
2. 【請求項２】請求項１記載の画像通信端末装置におい
   て、 前記画像表示装置の位置を変える画像表示装置用駆動装
   置と、前記撮像装置の位置を変える撮像装置用駆動装置
   とを備えて成り、利用者の画像表示装置制御要求に従っ
   て画像表示装置を移動し、あるいは利用者の撮像装置制
   御要求に従って撮像装置の位置を変えることにより、複
   数の利用者と選択的に視線を一致させることができ、か
   つ、反射像の位置と反射像の面の向きを自由に変更し自
   由な画像配置ができることを特徴とする多地点画像通信
   端末装置。
3. 【請求項３】請求項１または請求項２記載の多地点画像
   通信端末装置のいずれかを各地に設置しＮ地点（Ｎ＞
   ２）で通信を行う環境において、各地点に設置された前
   記多地点画像通信端末装置においてＮ−１個の反射像代
   表点と端末利用者の視点とが正Ｎ角形を形成するように
   各地の前記多地点画像通信端末装置を設定し、さらに、
   各地の前記多地点画像通信端末装置において端末利用者
   の視点を原点とし前記正Ｎ角形を用いて正規化された各
   前記多地点画像通信端末装置間で共通する座標系を考え
   た場合に、前記端末利用者の視点を通り前記正Ｎ角形を
   垂直に２等分する平面に対して端末上の反射像の反射像
   代表点と面対称の関係にある点の座標と、前記反射像に
   対応する遠隔地の端末上における自画像の反射像代表点
   の座標とがそれぞれ一致するように画像信号のやりとり
   を行うことにより、互いに視線を向けている複数の前記
   端末利用者間での視線が一致し、かつ、自分以外の遠隔
   地の端末利用者が視線や顔を向けている端末利用者を特
   定することができることを特徴とする多地点対話方式。