JPH05219501A

JPH05219501A - 画像通信システム

Info

Publication number: JPH05219501A
Application number: JP4135595A
Authority: JP
Inventors: Minoru Kobayashi; 稔小林; Kazuo Arita; 一穂有田; Yutaka Ishii; 裕石井
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1991-05-31
Filing date: 1992-04-30
Publication date: 1993-08-27
Anticipated expiration: 2016-01-29
Also published as: JP3128018B2

Abstract

(57)【要約】【目的】相手の顔画像と共有する描画面の画像を、連
続した一つの画像として表示し、表示画面全体を相手の
顔を見るためにも協同描画を行うためにも利用でき、さ
らに、協同描画中も容易に視線一致がはかれる画像通信
端末装置を得る。【構成】ＣＲＴ１１に相手側から送信された画像を表
示し、ハーフミラー上のユーザＵＡの描画像とハーフミ
ラーに反射した画像とを同時にビデオカメラ４０で撮影
し、相手側に送信する。また、ビデオカメラ４０ではＣ
ＲＴ１１の画像表示面１０Ａに表示された画像は、表示
画像撮影防止手段３０である偏光板３１，３２により、
相手端末に表示され再び自分の端末に表示される画面の
写り込みが無限に繰り返されないことを特徴としてい
る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、テレビ会議システムの
ような互いの顔画像を見ながら会議を行なう画像通信シ
ステムに関し、特に、遠隔地に分散したユーザによる協
同描画を可能とする協同作業支援用システムに関するも
のである。

【０００２】

【従来の技術】画像情報と音声情報のリアルタイム通信
により、遠隔地のユーザと互いの顔や提示された文書を
同時に見ながら会議を行なえる在席型テレビ会議システ
ムがある。また、このような会議システムに提示されて
いる文書に、各ユーザが同時に書き込みを行なったり、
文書のある場所を手やカーソルなどで指示したりする機
能を付加することにより、遠隔地に分散するユーザ間で
の協同作業を可能にするシステムがある（「普及の糸口
を模索する日本のグループウエア」，日経コンピュータ
１９９１年３月１１日号参照）。

【０００３】

【発明が解決しようとする課題】従来存在したこのよう
なシステムにおいては、ユーザの顔画像と、文書資料や
文書に書き込みを行なう手の画像は、図２０に示される
ように別々のウインドウに表示されていた。そのため、
これらの従来のシステムでは以下の問題がある。（１）ユーザの顔画像撮影用と机上の文書画像撮影用の
２つのカメラが必要であり、端末のコストが高くなり構
成も複雑になる。（２）顔画像と文書画像を別ウインドウに表示するた
め、限られた表示画面スペースを分割せねばならず、そ
れぞれのウインドウに十分なスペースを割り当てること
が困難である。（３）それぞれのカメラで撮影された画像が表示画面上
の異なるウインドウに表示されるため、顔画像と文書画
像の間に不連続な境界が生じ、端末操作におけるユーザ
の認知的な負荷を高めていた。

【０００４】また、互いの顔を見ながらのコミュニケー
ションにおいて、視線一致の機能をハーフミラーや液晶
シャッタを用いて実現した装置は既にあるが（Bill Bux
tonand Tom Maron,“EUROPARC'S Integrated Intaracti
ve Intermedia Facility(IIIF):Early Experiences,Mul
ti-User Interfaces and Applications Elsevier Scien
ce Pubishers 1990，志和新一，大庭有二「新しい視線
一致表示方式の提案」，１９９０年電子情報通信学会秋
季全国大会論文集参照）、協同作業には不可欠な協同描
画を行ないながら視線一致を可能にした装置は存在して
いない。

【０００５】本発明は、前記問題点を解決するためにな
されたものであり、本発明の目的は、１台のビデオカメ
ラでユーザの顔を含む上半身像と画像表示面を撮影し、
その画像を遠隔地の相手端末と相互に伝送・表示するこ
とによって、相手の顔画像と共有する描画面の画像を連
続した一つの画像として表示し、表示画面全体を相手の
顔を見るためにも協同描画を行なうためにも利用でき、
さらに協同描画中も容易に視線一致をはかれるコミュニ
ケーション手段を実現することにある。

【０００６】

【課題を解決するための手段】本発明の第１の発明にか
かる画像通信システムは、前記の課題を解決するため
に、通信回線によって接続された画像端末間で、ユーザ
の顔画像と文書や図表などの画像を相互に送受信し同時
に表示しながら会議を行なう画像通信システムを、画像
表示手段と、この画像表示手段の画像表示面全体を撮影
範囲に収め、かつ画像表示面の前方の情景を画像表示面
に反射させて、あるいは画像表示面を通して後方から撮
影する画像撮影手段と、画像表示手段の表示画像が画像
撮影手段によって撮影されることを防ぐ表示画像撮影防
止手段とからなる画像撮影表示装置を端末とし、相手端
末の画像撮影手段によって撮影された画像表示面前方の
情景が自端末に左右反転した鏡像として表示されるよう
に制御する画像制御手段を具備したものである。

【０００７】本発明の第２の発明にかかる画像通信シス
テムは、上記の第１の発明の画像通信システムに、指示
手段により指示された画像表示面上の位置を検出する位
置検出手段と、各端末の位置検出手段の出力を入力処理
するコンピュータシステムと、このコンピュータシステ
ムの出力画像と撮影手段の出力画像を合成する画像合成
手段を付加し、画像合成手段の出力画像を画像表示手段
に表示するものである。

【０００８】そして、本発明の第３の発明にかかる画像
通信システムは、画像撮影表示装置を、画像表示手段
と、この画像表示手段の画像表示面上に重ねられたハー
フミラーと、このハーフミラーの表面とハーフミラーに
反射した画像を同時に撮影する画像撮影手段と、画像表
示手段の表示画像が画像撮影手段によって撮影されるこ
とを防ぐ表示画像撮影防止手段とによって構成したもの
である。

【０００９】また、本発明の第４の発明にかかる画像通
信システムは、画像撮影表示装置を電気的に制御され、
透明，不透明の状態を取り得る液晶スクリーンと、スク
リーンの背後に位置しスクリーンに画像を投影する画像
投影手段と、スクリーンの背後に位置しスクリーン全体
を撮影範囲に収める画像撮影手段と、スクリーンを透
明，不透明の状態を交互にとるように制御し、スクリー
ンの状態に同期して画像撮影手段による画像の撮影と投
影を交互に行なうように連動制御する制御手段とによっ
て構成したものである。

【００１０】

【作用】本発明においては、端末装置の画像表示手段に
は、相手端末から伝送された相手端末上に相手ユーザが
描いた描画像と、反射した画像（例えば相手ユーザの手
や顔の画像）とが一つの画像として表示され、ユーザ自
らが自分の端末装置の画像表示面上に行なった描画像と
重なり、ユーザの位置からは相手端末と自分の端末の各
々の画面上の描画像が重なった画像と、相手ユーザの手
や顔の画像が１枚の画像として見える。

【００１１】また、本発明においては、撮影手段は画像
表示面全体を撮影範囲に収めるが、表示画像撮影防止手
段により表示画像の撮影されることが防げるので、画像
撮影手段により撮影された表示画像が相手端末に表示さ
れ、再び自分の端末に表示されることで画面の映り込み
が無限に繰り返されることは起こらない。

【００１２】また、画像表示面を通して撮影した場合に
は、撮影される画像表示面の像はユーザの位置から見た
ものと左右が逆の鏡像になるが、画像制御手段によっ
て、撮影像を左右反転して表示するように制御すること
によって、ユーザの位置から見たものと同じ向きの像が
表示される。

【００１３】さらに、本発明では、指示手段によって指
示された表示面上の位置が、位置検出手段によってコン
ピュータシステムに入力され、演算処理され、コンピュ
ータシステムの出力画像が、相手端末の撮影手段の撮影
画像と合成・表示されるので、上記の作用に加えて、表
示面を見ながら表示面上で指示を行なうことでコンピュ
ータシステムの操作が可能になる。

【００１４】

【実施例】はじめに、図２，図３により本発明の原理的
説明を行う。図２に示すように、本発明の第１の発明に
かかる画像通信システムは、各端末の画像撮影手段が撮
影した出力画像を、通信網を介して相互に伝送し、相手
端末の画像表示手段に表示する。図２中の１０は画像表
示手段、４０は画像撮影手段としてのビデオカメラ、１
００は画像通信端末装置、２００は通信網、６０は通信
インタフェース、ＵＡ，ＵＢはユーザである。

【００１５】図２の画像通信システムの画像通信端末装
置１００の画像表示手段１０の画像表示面に、各ユーザ
が直接フェルトペン等を用いて描画を行なうと、図３
（ａ）に示されるように、画像通信端末装置１００の画
像表示手段１０には、相手端末のビデオカメラ４０が画
像表示面を通してあるいは画像表示面に反射して撮影し
た、画像表示面上に相手が行なった描画像と、相手ユー
ザの手や顔を含む相手端末の画像表示面の前方の情景と
が一つの画像Ｐ１０として表示される。

【００１６】そして、画像Ｐ１０とユーザＵＡが自分の
画像通信端末装置１００の画像表示手段１０の面上に行
なった描画像Ｐ２０と重なり、ユーザＵＡの位置からは
相手端末と自分の端末の各々の画像表示面上の描画像が
重なった画像と、相手ユーザの手や顔の画像が１枚の画
像として図３（ｂ）画像Ｐ３０のように見える。その結
果、（１）相手の描画像に対する指等を用いた指示操作
や、（２）相手の描画像に対するコメント操作を、自分
の端末上に表示されている画像に対して指示や書き込み
を行なうことでリアルタイムに行なうことができ、画面
上の描画像を用いた協同作業を行なうことができる。ま
た、ユーザの顔や手の像が画像表示面を通して、あるい
は画像表示面に反射して画像表示面上になされた描画像
と同時に撮影され表示されるので、（３）顔の表情や身
体のゼスチャーを用いたコミュニケーションが実現でき
る。その際、画像撮影手段は画像表示面を通した、ある
いは表示画面に反射した像を撮影するので、ユーザが相
手の顔の映っている画面の方向を向いたときに丁度ユー
ザが正面を向いたように撮影されることで、（４）視線
一致したコミュニケーションが可能になる。前述した手
段では連続した１つの画面によって顔や手の画像と描画
像を表示できるので、（１）（２）を用いた協同作業を
行ないながら（３）（４）による視線一致したコミュニ
ケーションを実現できる。

【００１７】画像撮影手段が画像表示面に反射して撮影
する場合には、画像表示面上になされた描画像は、直接
画像撮影手段によって撮影されるので、ユーザが見るも
のと同じ向きに撮影されるが、画像表示面前方の情景は
一度反射して撮影されるのでユーザが見たものとは左右
が反転した鏡像として撮影される。

【００１８】一方、画像撮影手段が画像表示面を通して
撮影する場合には、画像表示面上の描画像はユーザが見
る側とは逆側から撮影されるので左右が反転した鏡像と
なり、表示面前方の情景は左右正像となる。このよう
に、画像表示面を通して、あるいは表示面に反射して、
表示面と表示面前方の情景を撮影する場合には、前方の
情景の像または表示面の像のどちらか一方が左右が反転
した鏡像となる。

【００１９】画面上の描画像を用いた協同作業を行なう
ためには、左右反転した鏡像は、例えば文字を書く場合
には読みづらく不都合であるので、各ユーザが見る描画
像は同じ向きであることが必要だが、本発明の装置で
は、画像制御手段によって、相手端末の画像撮影手段に
よって撮影された画像表示面前方の情景が自端末に左右
反転した鏡像として表示されるように制御することで、
表示面の像に関して各ユーザが左右が反転しない同じ向
きの画像を見ることができる。

【００２０】〔実施例１〕次に、本発明の実施例につい
て述べる。図１は本発明の実施例１の構成を示す模式図
である。本実施例は、請求項１に記載の画像通信システ
ムに対応するもので、画像表示手段としてＣＲＴを用
い、画像撮影手段として画像表示手段１０の上方に設置
したビデオカメラと画像表示装置表面に設置したハーフ
ミラーを用い、表示画像撮影防止手段として撮影側，表
示側の偏光板を用いた場合を述べる。

【００２１】図１において、４０はビデオカメラ、１１
はＣＲＴ、３１は前記ＣＲＴ１１の画像表示面上に設置
された表示側の偏光板、３２は前記ビデオカメラ４０の
レンズ部に取り付けられた前記偏光板３１と直交する偏
光軸方向（偏光板を透過する光の電界振動の方向）をも
つ撮影側の偏光板で、両偏光板３１，３２で表示画像撮
影防止手段３０が構成されている。２０は前記偏光板上
に設置されたハーフミラーで、前記ビデオカメラ４０と
ハーフミラー２０によって、画像表示手段の画像表示面
全体を撮影範囲に収め、かつ画像表示面１０Ａの前方の
情景を画像表示面に反射させて撮影する画像撮影手段が
構成される。５０は画像変形装置である。

【００２２】本実施例では、図１に示されるように、Ｃ
ＲＴ１１の画像表示面を鉛直方向に対して約４５度傾け
て設置し、ＣＲＴ１１の上方にビデオカメラ４０を設置
することによって画像表示面１０Ａ全体を撮影範囲に収
めながら端末機の前方の情景（ユーザの顔や腕などを含
む）を、ハーフミラー２０に反射した像として撮影し相
手端末に伝送する。相手端末から伝送されてきた画像は
ＣＲＴ１１に表示される。各ユーザＵＡ，ＵＢがハーフ
ミラー２０の上にフェルトペン等を用いて描画を行なえ
ば、ユーザはその画像中の顔画像を見ることで、視線一
致したコミュニケーションを行ないながら、同じ画像中
の描画像を指さしたり、描画像に重ねてハーフミラー２
０上に描画を行なうことで協同作業には必要不可欠な協
同描画を行なうことができる。画像変形装置５０は画像
受信側のＣＲＴ１の前段に入れても同様の効果を得られ
る。

【００２３】このような協同描画を行なうためには、ハ
ーフミラー２０上に描かれた描画像が相手端末上でも同
じ形・同じ大きさで表示されることが必要であるが、本
実施例においては、ハーフミラー２０上の描画像の上側
はビデオカメラ４０に近いために、描画像の下側よりも
大きく撮影され、上下方向の長さも縮んで撮影されるの
で、結果として図４（ａ）のような形状のハーフミラー
２０上の描画像が図４（ｂ）のような形状に歪んで撮影
される。本実施例の装置では、ビデオカメラ４０の出力
画像を画像変形装置５０によって画像上側を縮小し、画
像下側を拡大し上下方向に伸長して前述した歪を除去す
ることで、ハーフミラー２０の描画像を相手端末上にも
同じ形と大きさで再現することを可能としている。

【００２４】また、ＣＲＴ１１の表示画像をビデオカメ
ラ４０が撮影すると、その画像が相手端末のＣＲＴ１１
に表示され、相手端末のビデオカメラ４０で撮影され、
再び自端末のＣＲＴ１１に表示されて画面の映り込みが
無限に繰り返される。ＣＲＴ１１の表示画像がビデオカ
メラ４０により撮影されることを防ぎ、映り込みを防ぐ
ために、本実施例では、ＣＲＴ１１の画像表示面１０Ａ
上に偏光板３１を設置し、ＣＲＴ１１から出力される光
線を特定の偏光成分だけにフィルタリングし、この偏光
板３１と直交する偏光軸方向を持つ偏光板３２が直交す
る偏光成分のみを持つ偏光板３１でフィルタリングされ
た光線を透過しない性質を利用して、ＣＲＴ１１の画像
がビデオカメラ４０によって撮影されないようにしてい
る。一方、ハーフミラー２０上の描画像やハーフミラー
２０に反射した画像などは偏光板３１によって特定の偏
光成分だけにフィルタリングされないので、偏光板３２
に遮られることなく、ビデオカメラ４０で撮影される。

【００２５】本実施例では、画像表示面前方の情景を、
画像表示面１０Ａ上のハーフミラー２０に反射させて撮
影することによって、画像表示面１０Ａ前方の情景を左
右反転した鏡像として表示されるようにすることで、相
手端末のビデオカメラ４０によって撮影された画像表示
面１０Ａ前方の情景が自端末に左右反転した鏡像として
表示されるように制御する画像制御手段は満たされてい
る。

【００２６】〔実施例２〕図５は本発明の実施例２の構
成を示す模式図である。本実施例は「表示画像撮影防止
手段３０」として前記実施例１の偏光板３１，３２の代
わりに液晶シャッタを用いたものである。

【００２７】図５において、３３は前記ＣＲＴ１１の上
に設置された表示面側液晶シャッタ、３４は前記ビデオ
カメラ４０のレンズ部に設置された撮影側液晶シャッ
タ、３５は前記両液晶シャッタの駆動制御装置であり、
これらで表示画像撮影防止手段３０が構成される。ただ
し、図５は一方のユーザの端末装置のみを示している。
その他の部分は図１と同じである。

【００２８】本実施例の装置では、電気的に制御して透
明または不透明な状態をとることができる液晶パネルで
構成した両液晶シャッタ３３，３４をＣＲＴ１１の画像
表示面１０Ａ上とビデオカメラ４０のレンズ部に設置
し、ビデオカメラ４０及びＣＲＴ１１の撮影・表示周期
に同期を取りながら、表示面側の液晶シャッタ３３と撮
影側の液晶シャッタ３４を駆動制御装置３５によって、
図６に示すようなタイムチャートにしたがって透明また
は不透明にすることによって、ＣＲＴ１１に画像が表示
されているときには撮影を行なわず（図６のタイムチャ
ートの中のＴ2 の期間）、ビデオカメラ４０によって撮
影が行なわれているときには画像表示を行なわない（図
６のタイムチャートの中のＴ1 の期間）ようにし、さら
に、表示を行なう期間Ｔ2 では、必ず相手端末から画像
が伝送されてきているようにするために、相手端末と同
期をとるか、または画像の記憶装置に記憶して、いつで
も取り出して表示できるようにすることで、ＣＲＴ１１
の表示画像がビデオカメラ４０によって撮影されること
を防いでいる。

【００２９】〔実施例３〕図７は本発明の実施例３の構
成を示す模式図である。本実施例は、画像表示手段とし
て前記実施例１および実施例２のＣＲＴ１１の代わりに
ビデオプロジェクタと半透明スクリーンを用いた場合で
ある。

【００３０】図７において、１２はビデオプロジェク
タ、１３は前記ビデオプロジェクタ１２の投影像を結像
する背面投影用の半透明スクリーンであり、その他は図
７と同じである。ただし、本実施例では、表示画像撮影
防止手段３０として偏光板３１，３２を用いた例を示し
た。ビデオプロジェクタ１２は、本実施例では背面投影
用のものを用いたが、正面撮影用のものを用いる場合に
は、画像の左右を反転させて投影する必要があることは
言うまでもない。

【００３１】本実施例では、半透明スクリーン１３にビ
デオプロジェクタ１２から画像を投影することによって
画像を表示している。上方に設置されたビデオカメラ４
０は、実施例１及び実施例２の場合と同様に、斜め約４
５度に傾いた画像表示面１０Ａ上のハーフミラー２０に
反射した端末機の前方の情景を撮影する。実施例１及び
実施例２の場合、ビデオカメラ４０にはハーフミラー２
０上に描かれた描画像の上側は大きく、下側は小さく撮
影され、縦方向に縮み歪が生ずるので、画像の上側を縮
小し、画像の下側を拡大して、縦方向に伸長し、歪を除
去する必要があったが、本実施例では、画像表示装置を
ビデオプロジェクタ１２と傾いた半透明スクリーン１３
によって構成することにより、その必要性は生じない。
すなわち、光軸を水平方向に設定したビデオプロジェク
タ１２から鉛直方向に対して４５度傾いた半透明スクリ
ーン１３に投影することによって、画面上側はビデオプ
ロジェクタ１２と半透明スクリーン１３が近いために縮
小されて結像し、一方、画面下側は遠いために拡大され
て結像し、ビデオカメラ４０で撮影するときに生じた歪
と相殺し、画像表示面上の書き込みを相手端末上にも同
じ形と大きさで再現することができる。

【００３２】〔実施例４〕図８は、本発明の実施例４の
構成を示す模式図である。本実施例は、請求項２に記載
の画像通信システムに対応するもので、画像表示手段と
してＣＲＴを用い、この電磁式位置検出手段として電磁
式ディジタイザを用い、ディジタイザに対して複数の入
力インタフェースを備えた単一のコンピュータにより構
成されるコンピュータシステムを用いた場合である。

【００３３】図８において、９０はディジタイザであ
り、ＰＡおよびＰＢはペン型カーソル、７０は画像合成
手段、８１Ａと８１Ｂは入力インタフェース、８２は画
像出力インタフェース、８３は演算処理部、８０は前記
８１Ａ，８１Ｂ，８２，８３により構成されるコンピュ
ータシステムである。その他の部分は図１と同じであ
る。

【００３４】本実施例で用いる、電磁式ディジタイザ９
０は透明なガラス板に埋め込まれたコイルに流れる電流
と、ユーザが指示器として用いるペン型カーソルＰＡ，
ＰＢに埋め込まれたコイルとの間の相互作用によって、
ディジタイザ９０上のペン型カーソルの位置を検出す
る。検出された位置情報は、コンピュータシステム８０
の入力インタフェース８１Ａ，８１Ｂを介して演算処理
部８３に伝えられ、演算処理部８３はその入力情報をも
とに演算処理を行ない、結果を画像出力インタフェース
８２を介して画像信号として出力する。

【００３５】画像合成装置７０は、コンピュータシステ
ム８０の出力画像Ｐ４０と、相手端末からビデオネット
ワークを介して伝送されてきた画像Ｐ５０とを合成し、
ＣＲＴ１１は画像合成装置７０の出力画像を表示する。

【００３６】前記コンピュータシステム８０において、
複数のディジタイザ９０からの情報をもとに描画を行な
う協同描画プログラムを実行することにより、相手の表
情や挙動を見ながらコンピュータの機能を用いた協同描
画が可能となる。

【００３７】図９は、前記コンピュータシステム８０で
実行する協同描画プログラムの実施例で、実施例４のコ
ンピュータシステムを、ネットワークを介して接続され
た２台のコンピュータにより構成する場合に使用する協
同描画プログラムの処理手順を示すフローチャートであ
る。本プログラムは、実行が開始されると、まず、ユー
ザＵＡおよびユーザＵＢが操作する端末のペン型カーソ
ルＰＡならびにＰＢのスイッチの状態を調べる。ペン型
カーソルＰＡあるいはＰＢのスイッチがＯＮの状態の時
（すなわち、ユーザが描画を行なっていると判断される
時）、ペン型カーソルＰＡ，ＰＢのディジタイザ９０上
のＸ，Ｙ座標を取得し、これをコンピュータディスプレ
イの座標系へ座標変換する。

【００３８】前記座標変換は、ディジタイザ９０の任意
の座標を（Ｘ，Ｙ）、ディジタイザ９０の座標系からコ
ンピュータディスプレイの座標系への写像をｆとする
と、（Ｘ，Ｙ）に対応するディスプレイ上の座標
（Ｘ’，Ｙ’）は、（Ｘ’，Ｙ’）←（Ｘ，Ｙ）で与えられる。

【００３９】次に、本協同描画プログラムは前記コンピ
ュータディスプレイ上の座標（Ｘ’，Ｙ’）上に点を描
画する。以上を繰り返すことによりユーザＵＡおよびＵ
Ｂが同時並行的に協同で描画を行なうことを可能とす
る。

【００４０】前記描画プログラムを実行しているコンピ
ュータの出力画像Ｐ４０に、クロマキー手法あるいはビ
デオバーレイ手法によって相手端末から伝送された画像
Ｐ５０を合成すれば、実施例１においてペンで描画した
のと同様に、１）協同描画を行なうことが可能２）視線一致を伴う対面対話が可能という効果が得られる。

【００４１】なお、本実施例においては、前記コンピュ
ータシステム８０を１台のコンピュータによって構成さ
れるものとして説明したが、該コンピュータシステムが
ネットワークを介し接続された複数台のコンピュータよ
り構成可能であることはいうまでもない。

【００４２】図１０は、前記コンピュータシステムがネ
ットワークを介して接続された２台のコンピュータより
構成された場合の協同描画プログラムの実施例の場合の
処理手順を示すフローチャートである。本実施例におい
ては、ユーザＵＡ側のプログラムの動作について説明す
る。本プログラムは、実行が開始されるとまず、ユーザ
ＵＡが操作する端末のペン型カーソルＰＡのスイッチの
状態を調べる。ペン型カーソルＰＡのスイッチがＯＮの
状態の時、ペン型カーソルＰＡのディジタイザ上のＸ，
Ｙ座標を取得し、該座標（Ｘ，Ｙ）を通信回線を介して
接続されたユーザＵＢ側のコンピュータへ送信する。次
に、前記座標（Ｘ，Ｙ）をコンピュータディスプレイの
座標系へ座標変換して、座標（Ｘ’，Ｙ’）を取得し、
該座標（Ｘ’，Ｙ’）に点を描画する。

【００４３】次に、通信回線を介して接続されたユーザ
ＵＢの端末からの入力を調べ、ペン型カーソルＰＢの入
力であれば、ユーザＵＢのペン型カーソルＰＢのＸ，Ｙ
座標を取得し、これをコンピュータディスプレイの座標
系へ座標変換を行い（Ｘ’，Ｙ’）を得て、該座標
（Ｘ’，Ｙ’）に点を描画する。以上を繰り返すことに
より、ネットワークを介して接続した２台の端末間にお
いて、ユーザＵＡおよびユーザＵＢが同時並行的に協同
で描画を行なうことを可能とする。

【００４４】また、位置検出手段としては本実施例に示
した電磁式のディジタイザ９０の他に、感圧式のディジ
タイザや、ビデオカメラで入力した映像から画像処理に
よってペン先を抽出して位置を検出する装置等、さまざ
まな座標検出のための装置を使用可能であることはいう
までもない。

【００４５】図１１は、本実施例の端末装置のＣＲＴ１
１の代りにビデオプロジェクタと背面投影用半透明スク
リーンを使用した場合の画面の構成を示している。

【００４６】〔実施例５〕図１２は実施例５の構成を示
す模式図である。本実施例は、実施例４の画像表示手段
であるＣＲＴ１１および画像合成手段７０を、背面投影
用半透明スクリーン１３と、２台のビデオプロジェクタ
１４，１５から構成した場合である。図１２において、
１４はビデオ側のビデオプロジェクタ、１５はコンピュ
ータ側のビデオプロジェクタである。なお、図１２は、
ユーザＵＡ側の端末装置を示し、相手ユーザＵＢ側は省
略している。その他の部分は図８と同じである。

【００４７】ビデオ側のビデオプロジェクタ１４は相手
端末からビデオネットワークを介して伝送されてきた画
像Ｐ５０を、コンピュータ側のビデオプロジェクタ１５
はコンピュータシステムの出力画像Ｐ４０を、半透明ス
クリーン１３に対して投影する。その結果半透明スクリ
ーン１３上には画像Ｐ４０とＰ５０とが重なり合った合
成画像が表示される。ただし、本構成では光は加算的に
混合されるので、ビデオプロジェクタ１４，１５のどち
らかが輝度の高い画像を投影すると他方の画像が消され
てしまう。これを防ぐためにはぼビデオ側の画像Ｐ５０
は背景を暗くする等して全体に暗くし、コンピュータ側
の画像Ｐ４０は、文字や線を明色に背景を暗色に配色す
る必要がある。

【００４８】〔実施例６〕図１３は実施例６の構成を示
す模式図である。この実施例６は、画像合成手段として
入力される２つの画像信号から１つの画像信号を選択し
て出力する画像信号スイッチ装置を用いた場合である。

【００４９】図１３において、Ｐ５０は相手端末から通
信回線を介して伝送された画像、Ｐ４０はコンピュータ
システムの出力される画像、７１は前記画像Ｐ４０，Ｐ
５０の内どちらか片方を高速に切り替えながら選択して
出力する画像信号スイッチ装置である。図１３はユーザ
ＵＡ側のみ示し、相手ユーザＵＢ側は省略してある。そ
の他の部分は図８と同じである。

【００５０】〔実施例６−１〕本実施例では、ユーザＵ
Ａ側と相手ユーザＵＢ側の画像信号スイッチ装置を図１
４（ａ）のように切り替えながら、２種類の画像を交互
に表示する。図１４（ａ）の期間Ｔ１において、ユーザ
ＵＡ側の画像通信端末装置は、コンピュータシステムの
出力画像Ｐ４０を表示する。ユーザＵＡ側のビデオカメ
ラは表示されている画像Ｐ４０と表示面前方の情景とが
重なった像を撮影し、その画像はユーザＵＢ側に伝送さ
れ表示される。

【００５１】図１４（ａ）の期間Ｔ２においては、ユー
ザＵＡ側の画像表示面にはユーザＵＢ側から伝送された
画像Ｐ５０が表示される。ユーザＵＡ側のビデオカメラ
４０は画像Ｐ５０と表示面前方の情景とが重なった像を
撮影するが、期間Ｔ２ではユーザＵＢ側はコンピュータ
システム８０の画像を表示するのでこの画像は表示され
ることはない。

【００５２】このように、（１）コンピュータシステム８０の画像Ｐ４０（２）相手端末から伝送された画像Ｐ５０（コンピュー
タシステム８０の出力画像Ｐ４０と相手端末の画像表示
面前方の情景が重なった像）とを交互に高速に切り替えながら表示することで、ユー
ザの目にはこれらの画像が混合されたように見え、画像
を合成することができる。

【００５３】また、本実施例では、片方の端末が相手端
末から伝送されたビデオ画像を表示している期間におい
ては、もう一方の端末ではコンピュータシステム８０の
画像Ｐ４０が表示されるので、表示画像が撮影され相手
端末で再び表示され撮影されることが無限に繰り返され
ることを防止する表示画像撮影防止手段は実現されてい
る。

【００５４】〔実施例６−２〕また、図１４（ｂ）のよ
うに、画像信号スイッチ装置７１の動作とビデオカメラ
４０の動作を連動して制御することによっても、画像の
合成を行なうことができる。

【００５５】図１４（ｂ）の期間Ｔ１では、コンピュー
タシステム８０の画像Ｐ４０を表示し、ビデオカメラ４
０はコンピュータシステム８０の画像Ｐ４０と相手端末
の画像表示面前方の情景が重なった像Ｐ６０を撮影す
る。それに引き続く期間Ｔ２では、相手端末から伝送さ
れた画像Ｐ５０を表示し、ビデオカメラ４０はこの期間
は撮影を行なわず前の期間Ｔ１の時の像Ｐ６０を引き続
き出力する。このように、（１）コンピュータシステム８０の画像Ｐ４０（２）相手端末から伝送された画像Ｐ５０（コンピュー
タシステム８０の画像と相手端末の画像表示面前方の情
景が重なった像）とを交互に高速に切り替えながら表示することで、ユー
ザの目にはこれらの画像が混合されたように見え、画像
を合成することができる。

【００５６】また、このように制御することで、相手端
末に伝送される画像は常にコンピュータシステム８０の
画像Ｐ４０とハーフミラーに反射した画像表示面前方の
情景が重なった像となり、相手端末から伝送された画像
が撮影されることはないので、表示画像撮影防止手段は
実現されている。

【００５７】ただし上記実施例６−１および実施例６−
２の装置では、交互に表示される（１）コンピュータシステム８０の画像Ｐ４０（２）相手端末から伝送された画像Ｐ５０の双方にコンピュータの出力画像を含むので双方に含ま
れるコンピュータシステム８０の画像Ｐ４０の形状，大
きさ，位置が正確に合っていないと画像が不鮮明にな
る。

【００５８】本実施例の装置では、上記実施例６−１お
よび実施例６−２で示したように表示画像撮影防止手段
は実現されているが、上記実施例１および上記実施例２
で示したような表示画像撮影防止手段を図１３の装置に
付加することで、より鮮明な画像を得る事が可能と成
る。

【００５９】図１３から、コンピュータシステム８０，
座標検出手段を取り除き、画像信号スイッチ装置７１の
コンピュータシステム８０の画像Ｐ４０側の入力に画像
を入力しなければ、本構成の装置は、コンピュータシス
テムを持たない図１の実施例１のようなシステムにおけ
る表示画像撮影防止手段３０として機能する。

【００６０】〔実施例７〕図１５は本発明の実施例７の
構成を示す模式図である。本実施例は、実施例１乃至６
において、４５度とした画像表示手段１０の表示面の角
度を、４５度以外の角度にした場合の装置の構成法につ
いて述べる。

【００６１】図１５において、１０Ａは画像表示面であ
り、表面にハーフミラー２０を重ねてある。Ｐ１０は前
記画像表示面１０Ａに表示された相手ユーザ像、ＵＡは
ユーザ、θは前記画像表示面１０Ａが水平面となす角で
ある。点Ａはユーザの目の位置、点Ｂは相手ユーザ像を
見ているユーザの視点、点Ｃはビデオカメラの位置、点
Ｄは直線ＡＢ上で点Ｂに関して点Ａとは反対側にある点
である。

【００６２】画像表示面１０Ａは長方形で、その底辺は
水平になるように設置される。点Ｂを通過し、画像表示
面１０Ａの底辺と垂直な画像表示面１０Ａ上の線分の両
端を図１５中に示すように点Ｅ及び点Ｆとする。また、
点Ｂを通過する画像表示面１０Ａの法線上の一点を図１
５に示すように点Ｇとする。

【００６３】画像表示面１０Ａに書き込まれた描画像を
撮影し、同時に通信相手と視線を一致した対話を実現す
るためには、画像表示面１０Ａ上の相手ユーザ像Ｐ１０
を見るユーザの視線（線分ＡＢ）の延長上に（例えば図
１５中の点Ｄの位置に）ビデオカメラ４０が位置する必
要がある。本実施例および実施例１乃至６では、点Ｄの
位置にビデオカメラ４０を置く代りに、点Ｄとは画像表
示面１０Ａに関して面対称の位置である点Ｃにビデオカ
メラを置くことにより、点Ｄにビデオカメラを置いたの
と鏡像である点を除いて等価な画像を、画像表示面１０
Ａに重ねられたハーフミラー２０に反射した像として撮
影することができる。

【００６４】最初に、ユーザの視線（線分ＡＢ）が水平
となるような装置構成をした場合について述べる。ユー
ザＵＡの視線の画像表示面１０Ａに対する入射角∠ＡＢ
Ｅをθ２とする。∠ＤＢＦは∠ＡＢＥは互いに対角なの
で∠ＤＢＦ＝∠ＡＢＥ＝θ２である。ビデオカメラは表
示面に対して点Ｄと対称な位置（点Ｃ）に置けばよいの
で、その位置は点Ｂを通過する法線ＢＧを含む平面上の
∠ＣＢＦ＝θ２になるような点で、表示面全体を撮影で
きるような位置である。ユーザの視線（線分ＡＢ）が水
平となる場合には、画像表示面１０Ａの傾き角度の大き
さをθ１とすれば、θ２＝θ１（錯角の関係）である。

【００６５】図１６は本実施例におけるθ１の取り得る
値の範囲を示すために、本実施例の装置の側面の模式図
を表示面の傾きθ１を色々変えて示したものである。前
述したような点Ｃにビデオカメラを置けば、画像表示面
１０Ａに書き込まれた描画像を撮影し、同時に通信相手
と視線を一致した対話を実現することができるが、画像
表示面１０Ａの傾きθ１が図１６（ａ）のように大きい
場合には、画像表示面１０Ａの内ユーザの陰になってビ
デオカメラ４０が撮影できない部分が大きくなるので不
適当である。

【００６６】また、画像表示面１０Ａの傾きθ１が小さ
く０度以下の場合には、表示面の陰になって画像表示面
１０Ａを撮影することができなくなるので不適当であ
る。θが０度以上でも、その値が小さく、図１６（ｂ）
のような場合にはビデオカメラ４０に撮影される画像表
示面１０Ａの像の歪が大きくなるために画質が悪化し不
適当である。θ１の値は、図１６（ａ）に示すような不
都合が起こる程大きくなく、図１７（ｂ）に示すような
不都合が起こるほど小さくない範囲の値をとる必要があ
る。

【００６７】次に、ユーザの視線（線分ＡＢ）が水平に
ならないような装置構成をした場合、例えば図１６
（ｃ）に示すようにユーザが画面を見下ろすように表示
面を配置しユーザの視線が下向きになる場合について述
べる。この場合にはθ１＝θ２の関係は成り立たず、双
方を独立に設定できる。

【００６８】図１６（ａ），（ｂ）の場合と同様に、画
像表示面１０Ａの水平になす角度を上記のθ１とし、ユ
ーザの視点Ａと画像中の相手ユーザの目の位置Ｂを結ん
だ直線が画像表示面１０Ａとなす角度∠ＡＢＥをθ２と
する。画像表示面１０Ａに書き込まれた描画像を撮影
し、同時に通信相手と視線を一致した対話を実現するた
めには、上記の図１６（ａ），（ｂ）の場合と同様に、
ビデオカメラ４０は図１６（ｃ）中の点Ｃの位置にある
必要がある。

【００６９】この構成では、θ２を大きく取ることでビ
デオカメラ４０に撮影される画像表示面１０Ａの像の歪
みは小さく取ることができる。θ１，θ２双方が大きい
場合には、図１６（ａ）のように画像表示面１０Ａの内
でユーザの身体の陰になってビデオカメラ４０が撮影で
きない部分が大きくなり不適当であるが、θ１を小さく
θ２を大きく取れば、図中に点の網かけで示した装置の
下端より前方の領域にユーザが身体を進めることはでき
ないので、画像表示面１０Ａがユーザの身体によってカ
メラの陰になることがなく、画像表示面１０Ａの撮影像
の歪みを小さく抑えつつ、同時に画像表示面１０Ａがユ
ーザの身体の陰になることを防いだ構成を取ることがで
きる。

【００７０】また、実施例１のように相手端末から伝送
された画像中の描画像と自端末の上に行なった描画像と
を重ね合せて見ることによって協同描画を実現した場合
には、相手端末の画像表示面１０Ａの像が正確に自端末
の画像表示手段１０に再現される必要があったが、実施
例４のようにコンピュータシステム８０によって協同描
画を実現する場合で、フェルトペン等を用いた描画を行
なわない場合には、座標情報は位置検出手段によって正
確に入力され伝送されるので、相手端末から伝送された
画像とコンピュータシステム８０の画像Ｐ４０とは、必
ずしも正確に重なり合う必要はなく、ある程度の誤差が
許容される。よって、図１６（ｃ）のようなθ１が小さ
くθ２が大きい構成をとることで、撮影される画像表示
面１０Ａの像の歪みを小さく抑えれば、実施例４乃至６
では必要であった画像変形装置５０を省略できる。

【００７１】〔実施例８〕図１７は本発明の実施例８の
構成を示す模式図で、請求項４に対応するものである。
本実施例は画像表示手段１０としてビデオプロジェクタ
と電気的に制御して透明または不透明な状態をとること
ができる液晶スクリーンを用い、画像撮影手段として前
記液晶スクリーンの背後に液晶スクリーン全体をその撮
影領域に収めるように設置したビデオカメラを用いた場
合である。

【００７２】図１７において、１２はビデオプロジェク
タ、４０はビデオカメラ、１６は液晶スクリーン、１７
は前記ビデオプロジェクタ１２と前記ビデオカメラ４０
と前記液晶スクリーン１６を連動制御する液晶スクリー
ン駆動制御装置である。その他の部分は図８と同じであ
る。

【００７３】本実施例では、図１８に示すようなタイム
チャートに従い、液晶スクリーン１６を交互に透明・不
透明にするのと同期して、撮影・表示を行なう。液晶ス
クリーン１６が透明な期間Ｔ１においては、ビデオカメ
ラ４０は画像表示面たる液晶スクリーン１６前方の情景
をスクリーン面を通して撮影する。

【００７４】液晶スクリーン１６が不透明な期間Ｔ２に
おいては、ビデオプロジェクタ１２は画像合成装置７０
の出力画像を液晶スクリーン１６に向かって投影し、液
晶スクリーン１６上に結像・表示する。このように（１）画像表示面を通した撮影と（２）画像の表示を交互に行なう。

【００７５】本実施例においては、ビデオカメラ４０が
撮影を行なう期間Ｔ１には液晶スクリーン１６を透明に
することで、表示画像がビデオカメラ４０によって撮影
されることを防ぎ、表示画像撮影防止手段が実現してい
る。

【００７６】また、実施例１乃至７では、画像表示面１
０Ａに対して斜めから撮影したので画像表示面１０Ａが
台形状に歪んで撮影され、その歪みを画像変形装置５０
を用いて補正する必要が合ったが、本実施例の装置で
は、画像表示面に対して垂直方向から撮影を行なうの
で、歪みは生じず画像変形装置５０は必要ない。

【００７７】また、本実施例ではコンピュータシステム
８０を含んだシステムを示したが、液晶スクリーン１６
とビデオプロジェクタ１２を用いた本実施例の方法は、
コンピュータシステム８０を持たない図１のようなシス
テムの画像表示撮影の手段としても適用可能であること
は明らかである。

【００７８】〔実施例９〕図１９は本発明の実施例９の
構成を示すブロック図である。本実施例は、３人または
それ以上の人数で本発明の画像通信システムを用いる場
合を述べる。

【００７９】図１９において、１００−１，１００−
２，１００−３は本発明の画像通信端末装置、Ｐ１，Ｐ
２，Ｐ３は各画像通信端末装置１００の出力画像、７０
−１，７０−２，７０−３は２枚の画像を半透明に重ね
合わせる画像合成装置、Ｐ１１，Ｐ１２，Ｐ１３は各画
像端末への入力画像、Ｕ１，Ｕ２，Ｕ３はユーザであ
る。

【００８０】本実施例では、複数の相手を画像表示手段
に表示するために、複数の相手の画像を画像合成装置７
０−１，７０−２，７０−３によって半透明状に合成し
て重ね合わせて表示する。図１９に従って説明すると、
例えばユーザＵ１の画像表示手段１０に表示される入力
画像Ｐ１１は、他の２人のユーザ（ユーザＵ２とユーザ
Ｕ３）の出力画像Ｐ２とＰ３を半透明状に合成すること
によって得られる。

【００８１】半透明状に合成する装置として、本実施例
では、放送局等で用いられているようなビデオエフェク
タを用いているが、例えば２台のビデオプロジェクタを
用いて光学的に合成する等、多様な方法が可能であるこ
とは言うまでもない。

【００８２】このように合成した画像を表示すること
で、複数のユーザの顔や身体を含む映像と、端末機のハ
ーフミラー２０上に描いた描画像とが重なって画像表示
手段に表示されるので、複数のユーザを相手に協同描画
と視線一致した対話を行なうことができる。図１９で
は、特に３人の場合を示したが、それ以上の人数の場合
も通信相手の画像を合成することで、本発明を適用した
画像通信が可能であることはいうまでもない。

【００８３】

【発明の効果】以上説明したように、本発明によれば、
分散したユーザが画面上で共有され、描画像に対してリ
アルタイムに指示操作やコメント操作を行いながらの協
同作業ができ、かつ視線一致したコミュニケーションを
実現できる。

【００８４】また、１台のビデオカメラによって画面上
の描画像と顔画像を同時に１つの連続した画像として撮
影することができるので、端末機を安価に構成でき、顔
画像と手の画像を含む描画像が別々の画面表示される場
合に存在した端末操作時のユーザの認知的負荷を除去で
き、表示画面全体を相手の顔を見るためにも協同描画行
なうためにも利用できるので、限られたスペースを有効
に利用できる。

【００８５】また、本発明は、各端末の位置検出の出力
を入力処理するコンピュータシステムを用いたので、上
記の効果に加えてコンピュータを用いた協同作業を行な
うことができる。

【図面の簡単な説明】

【図１】本発明にかかる実施例１の構成を示す模式図で
ある。

【図２】本発明の原理説明のための画像通信システムの
概略を示す図である。

【図３】本発明の原理説明のための図で、相手端末から
伝送された画像とユーザが自分の端末機の画面上に行な
った描画像が重なって見えることを説明するための模式
図である。

【図４】図１の実施例１で描画像がビデオカメラに撮影
されるときの歪み方を示す図である。

【図５】本発明の実施例２の構成を示す模式図である。

【図６】本発明の実施例２の液晶シャッタの駆動タイム
チャートである。

【図７】本発明の実施例３の構成を示す模式図である。

【図８】本発明の実施例４の構成を示す模式図である。

【図９】本発明の実施例４のコンピュータシステムを、
２つのディジタイザからの入力を受け付ける１台のコン
ピュータにより構成する場合に使用する協同描画プログ
ラムの処理手順を示すフローチャートである。

【図１０】本発明の実施例４のコンピュータシステム
を、ネットワークを介して接続された２台のコンピュー
タにより構成する場合に使用する協同描画プログラムの
処理手順を示すフローチャートである。

【図１１】本発明の実施例４におけるＣＲＴの代りにビ
デオプロジェクタと背面投影用の半透明スクリーンを使
用した場合の画面の構成を示す図である。

【図１２】本発明の実施例５の構成を示す模式図であ
る。

【図１３】本発明の実施例６の構成を示す模式図であ
る。

【図１４】本発明の実施例６のビデオスイッチおよびビ
デオカメラの動作を示すタイムチャートである。

【図１５】本発明の実施例７の構成を示す模式図であ
る。

【図１６】本発明の実施例７の表示面の傾きの角度の適
当な範囲を示す図である。

【図１７】本発明の実施例８の構成を示す模式図であ
る。

【図１８】本発明の実施例８の液晶スクリーンの動作を
示すタイムチャートである。

【図１９】本発明の実施例９の３人で用いる場合の構成
を示すブロック図である。

【図２０】従来の画像端末の画面の例を示す図である。

【符号の説明】

１０画像表示装置１０Ａ画像表示面１１ＣＲＴ１２ビデオプロジェクタ１３半透明スクリーン１４ビデオ側のビデオプロジェクタ１５コンピュータ側のビデオプロジュエクタ１６液晶スクリーン１７液晶スクリーン駆動制御回路２０ハーフミラー３０表示画像撮影防止手段３１表示面側の偏光板３２撮影側の偏光板３３表示面側の液晶シャッタ３４撮影側の液晶シャッタ３５駆動制御装置４０ビデオカメラ５０画像変形装置６０通信インタフェース７０画像合成装置７１画像信号スイッチ装置７２画像信号スイッチ装置とビデオカメラの同期制
御装置８０コンピュータシステム８１Ａコンピュータシステムの入力インタフェース部８１Ｂコンピュータシステムの入力インタフェース部８２コンピュータシステムの画像出力インタフェー
ス部８３コンピュータシステムの演算処理部９０ディジタイザ１００画像通信端末装置２００通信網

Claims

【特許請求の範囲】

【請求項１】通信回線によって接続された画像端末間
で、画像を相互に送受信し同時に表示しながら会議を行
なう画像通信システムにおいて、画像表示手段と、この
画像表示手段の画像表示面全体を撮影範囲に収め、かつ
画像表示面の前方の情景を画像表示面に反射させて、あ
るいは画像表示面を通して後方から撮影する画像撮影手
段と、前記画像表示手段の表示画像が前記画像撮影手段
によって撮影されることを防ぐ表示画像撮影防止手段と
からなる画像撮影表示装置を端末とし、相手端末の画像
撮影手段によって撮影された画像表示面前方の情景が自
端末に左右反転した鏡像として表示されるように制御す
る画像制御手段とを具備したことを特徴とする画像通信
システム。
【請求項２】請求項１に記載の画像通信システムにおい
て、指示手段により指示された画像表示面上の位置を検
出する位置検出手段と、各端末の位置検出手段の出力を
入力処理するコンピュータシステムと、このコンピュー
タシステムの出力画像と撮影手段の出力画像を合成する
画像合成手段を付加し、画像合成手段の出力画像を画像
表示手段に表示することを特徴とする画像通信システ
ム。
【請求項３】請求項１または請求項２に記載の画像通信
システムにおいて、画像撮影表示装置は、画像表示手段
と、この画像表示手段の画像表示面上に重ねられたハー
フミラーと、このハーフミラーの表面とこのハーフミラ
ーに反射した画像を同時に撮影する画像撮影手段と、前
記画像表示手段の表示画像が前記画像撮影手段によって
撮影されることを防ぐ表示画像撮影防止手段とからなる
ことを特徴とする画像通信システム。
【請求項４】請求項１または請求項２に記載の画像通信
システムにおいて、画像撮影表示装置は電気的に制御さ
れ、透明，不透明の状態を取り得る液晶スクリーンと、
このスクリーンの背後に位置しスクリーンに画像を投影
する画像投影手段と、前記スクリーンの背後に位置しス
クリーン全体を撮影範囲に収める画像撮影手段とからな
り、画像制御手段は前記スクリーンを透明，不透明の状
態を交互にとるように制御し、前記スクリーンの状態に
同期して前記画像撮影手段による画像の撮影と投影を交
互に行なうように連動制御することを特徴とする画像通
信システム。