JPH10260808A - 映像表示システムおよびその臨場感向上方法 - Google Patents

Abstract

(57)【要約】 【課題】 複数箇所の人物の映像を１つの表示画面に表
示しその臨場感を向上させる。 【解決手段】 クライアント２００から人物の映像をサ
ーバ１００に送信する。サーバ１００では送信された映
像と内部記憶された背景画像を合成して各クライアント
２００に送信する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、遠隔地を通信回線
で接続して、会議を行う場合に好適な映像表示システム
およびその臨場感向上方法に関する。

【０００２】

【従来の技術】従来、遠隔の人間同士が自己の映像を相
手先に送る映像表示システムとしては電子会議システム
や、テレビ電話システムが知られている。電子会議シス
テムやテレビ電話システムでは、ビデオカメラにより撮
像された映像をパーソナルコンピュータに入力し、パー
ソナルコンピュータから、ＬＡＮ（広域ネットワーク）
などの通信回線を介して、更新相手のパーソナルコンピ
ュータに送る。

【０００３】相手のパーソナルコンピュータからはやは
りビデオカメラにより撮像された相手側の人間の映像が
自己のパーソナルコンピュータに送られてくる。双方の
パーソナルコンピュータでは自己のビデオカメラにより
撮影された映像を、たとえば、ＣＲＴ表示装置の表示画
面の左側、相手側から送られた映像を表示画面の右側に
表示して、ユーザに臨場感をもたしている。

【０００４】

【発明が解決しようとする課題】このように２つのパー
ソナルコンピュータの間の相互通信（全２重通信）で
は、２箇所の人間しか会議に参加することができず、３
個所以上での電子会議を開くことができない。また、相
手側から送られてくる映像は通信のために。自己のビデ
オカメラにより撮影された映像とはタイムラグが生じて
しまい、その表示が不自然となっていしまう。さらに従
来は自分の映像と相手の映像は別々の方形の中に表示さ
れており、その位置関係および表示サイズは各利用者毎
に異なっていた。そのため、両者が同じ空間（画面位
置）を意図的に共有することはできなかった。

【０００５】そこで、本発明は、２箇所以上の人間が同
一の場所で会議を行っているような臨場感を与えること
ができる、映像表示システムおよびその臨場感向上方法
を提供することにある。

【０００６】

【課題を解決するための手段】このような目的を達成す
るために、請求項１の発明は、異なる場所で映像を入力
する複数の映像入力手段と、異なる場所で映像を表示す
る複数の映像表示手段と、前記複数の映像入力手段から
入力された複数組の映像を、鏡像となるように１つの映
像に合成する画像合成手段とを有し、前記画像合成手段
により合成した映像を前記複数の映像表示手段に転送し
て、前記複数の映像表示手段で表示することを特徴とす
る。

【０００７】請求項２の発明は、請求項１に記載の映像
表示システムにおいて、前記画像合成手段をサーバ内に
設け、前記複数の映像入力手段と前記複数の映像表示手
段とを複数のクライアント内に設け、前記サーバと、前
記複数のクライアントを通信ネットワークで接続したこ
とを特徴とする。

【０００８】請求項３の発明は、請求項１に記載の映像
表示システムにおいて、前記映像入力手段はビデオカメ
ラ、前記映像表示手段はプロジェクタであることを特徴
とする。

【０００９】請求項４の発明は、映像入力する複数の映
像入力装置を異なる場所に設置し、映像を表示する複数
の映像表示装置を異なる場所に設置し、前記複数の映像
入力装置から入力された複数組の映像を、鏡像となるよ
うに１つの映像に画像処理装置により合成し、前記画像
処理装置により合成した映像を前記複数の映像表示装置
に転送して、前記複数の映像表示装置で表示することを
特徴とする。

【００１０】請求項５の発明は、請求項４に記載の映像
表示システムの臨場感向上方法において、前記画像処理
装置をサーバ内に設け、前記複数の映像入力装置と前記
複数の映像表示装置とを複数のクライアント内に設け、
前記サーバと、前記複数のクライアントを通信ネットワ
ークで接続したことを特徴とする。

【００１１】請求項６の発明は、請求項４に記載の映像
表示システム臨場感向上方法において、前記映像入力装
置はビデオカメラ、前記映像合成装置はプロジェクタで
あることを特徴とする。

【００１２】

【発明の実施の形態】以下、図面を参照して、本発明の
実施の形態を説明する。

【００１３】（第１実施の形態）図１は本発明第１実施
の形態における映像通信システムのシステム構成を示
す。図１において、サーバー１００および複数のクライ
アント２００がＬＡＮ（ローカルエリアネットワーク）
等の通信回線（ネットワーク）に接続されている。各ク
ライアント２００側では、会議に参加したい者を撮像し
（音声入力を含む）、撮像結果から人物の映像を残し、
背景を除去して、サーバー１００に送信する。サーバー
１００側では、複数のクライアント２００側から送られ
る人物像と、サーバ１００側で用意している背景とを合
成し、合成後の映像を各クライアント２００に送信す
る。各クライアント側では受信した合成映像を表示す
る。

【００１４】サーバ１００およびクライアント２００の
システム構成を図２に示す。サーバ１００およびクライ
アント２００には汎用のパーソナルコンピュータやワー
クステーションを使用することができるので、システム
説明は簡単に留める。図２において、クライアント側の
ＣＰＵ１はＯＳ（オペレーティングシステム）に従っ
て、システム制御を行う他、図３に示す処理プログラム
を実行して、本発明に係る映像通信を行う。ＲＯＭ２に
は上記ＯＳの一部およびシステムフォント等を記憶して
いる。ＲＡＭ３はＣＰＵ１に対する入出力データ、ハー
ドディスク記憶装置（ＨＤＤ）８からローディングされ
た実行用プログラム、ＣＰＵ１の演算データ、キーボー
ド６から入力されたデータ等が格納される。

【００１５】ＣＲＴ４は後述の合成映像の表示を行う。
入出力インタフェース（Ｉ／Ｏ）５はＬＡＮ（ローカル
エリアネットワーク）と接続し、サーバ１００から送信
された映像を受信する。

【００１６】キーボード６は文字情報等やＣＰＵ１に対
する動作指示を入力する。マウス７はＣＲＴ４の表示画
面の特定位置を指定することによりその位置に表示され
ている情報に関連する動作命令、文字、数値等を入力す
る。ＨＤＤ８は上記ＯＳ、映像通信用プログラムを格納
する。Ｉ／Ｏ９はビデオカメラ１０と接続し、ビデオカ
メラ１０により撮影した映像（動画像＋音声）を入力す
る。

【００１７】サーバ１００も上述したクライアント１０
０とほぼ同じハード構成とすることができる。ただし、
サーバー１００にはビデオカメラ１０は接続されておら
ず、ＨＤＤ８には映像合成および通信用プログラム（図
４）および合成対象となる背景の静止画像を記憶してい
る点がクライアント２００と異なる。クライアント２０
０側で実行する映像通信プログラムの内容を図３に示
し、サーバ１００側で実行する映像合成およひ通信プロ
グラム映像通信用プログラムの内容を図４に示す。図３
および図４のフローチャートを参照しながら図１のシス
テム動作を説明する。

【００１８】各クライアント２００側のＣＰＵ１はキー
ボード６またはマウス７により映像通信用プログラムの
起動の指示を受けると、ＨＤＤ８からＲＡＭ３にローデ
ィングして、実行を開始する。サーバー１００側のＣＰ
Ｕ１でも映像合成および通信用プログラムの起動の指示
を受けるとＲＡＭ３に映像合成および通信用プログラム
をローディングして、実行を開始する。

【００１９】クライアント２００では、従来から周知の
通信プロトコル、たとえば、ＴＣＰ／ＩＰのような通信
プロトコルを使用して、サーバ１００と接続する（ステ
ップＳ１０）。

【００２０】クライアント側のＣＰＵ１はビデオカメラ
１０から入力される動画像（図５の符号５０１）および
音声をＲＡＭ３に記憶し、次にこの動画像から背景画像
（図５の符号５０３）を消去する（ステップＳ２０→Ｓ
３９）。このためには、ＵＳＰ５５７２２４８号に記載
されているような、画像処理方法を使用することができ
る。この画像処理では人物が存在しない背景画像（動画
像または静止画像）を予め取得し、入力した映像に対し
て人物が存在しない背景画像によりマスク処理を施すこ
とで背景を除去する。さらに人部画像は左右反転により
鏡像が作成される。

【００２１】このようにして背景画像を除去して鏡像形
態の動画像５０４すなわち、人物５０２についての画像
データおよび背景部分の各画素を、たとえば、数値０と
した画像データ（図５の５０５）からなる動画画像５０
４および音声データはデータ圧縮されて、クライアント
２００のＩ／Ｏ５を介してサーバ１００に送信される
（ステップＳ４０）。

【００２２】次にクライアント２００のＣＰＵ１はサー
バ１００側で人物画像が合成された映像（図５の符号６
０２参照）をＩ／Ｏ５を介して受信し、データ復元を行
って、ＣＲＴ４に表示する。

【００２３】一方サーバー１００側のＣＰＵ１はクライ
アント２００側の通信要求に応じて、接続し、マルチタ
スク処理により複数のクライアント２００と時系列的に
通信を行う（ステップＳ１００）。最初にサーバ１００
側のＣＰＵ１は各クライアント２００から送信される圧
縮済みの映像を受信し、サーバ１００内のＲＡＭ３に一
時記憶する（ステップＳ１１０）。

【００２４】接続されている全てのクライアント２００
から映像を受信すると、サーバ１００側のＣＰＵ１は受
信した映像のデータ復元を行って、複数の人物画像（鏡
像形態）およびサーバ１００内のＨＤＤ８に用意してあ
る背景画像（図５の符号６０１）を合成する（ステップ
Ｓ１３０）。合成後の映像６０２は上記ＣＰＵ１により
データ圧縮されて、全クライアント２００に送信される
（ステップＳ１４０）。以下、終了の指示があるまで、
上述の処理が繰り返される（ステップＳ１１０〜Ｓ１６
０のループ処理）。

【００２５】このようにして、図５に示すように各クラ
イアント２００はサーバ１００と映像の相互通信を行う
だけで、全てのクライアント２００側の人物がそろっ
た、画像を表示することができる。このため、クライア
ント２００側の通信プログラムは従来と同様のものをし
ようすることができる。また、サーバ１００側で用意す
る背景が１つの部屋の風景であれば、全員があたかも１
つの部屋にいるような臨場感を与えることができる。

【００２６】（第２実施の形態）第１実施の形態は、通
信ネットワークを介して、映像を転送し、ＣＲＴなどの
表示装置に合成画像を表示する例であった。画像合成を
光学的に行う例を図６に示す。図６において、５１およ
び６３はビデオカメラ、５２，５３，６１，６２はプロ
ジェクタである。７０は転送される映像信号を増幅し、
分配する信号処理装置である。ビデオカメラ５１により
撮影された人物の映像はプロジェクタ５３、６１送ら
れ、プロジェクタ５３によりスクリーン５４に鏡像とな
るように投影され、プロジェクタ６１によりスクリーン
６４に鏡像となるように投影される。また、ビデオカメ
ラ６３により撮影された人物の映像はプロジェクタ５
２，６１に送られ、スクリーン５４，６４にそれぞれ鏡
像となるように投影される。したがって、遠隔地にいる
人物同士の映像が２つのプロジェクタ５２，５３（６
１，６２）により合成されてスクリーン５４（６４）に
表示される。

【００２７】以上説明した第１、第２実施の形態では、
図７に示すように番号１１の対話者がスクリーン５４に
番号１５の鏡像として投影され、番号１２の対話者が番
号１６の鏡像として投影される。また、番号１３の人物
の鏡像（番号１７）もスクリーン５４に投影される。し
たがって、番号１１，１２の対話者はスクリーン５４上
の鏡像７を見るて、あたかも自分の知覚に仮想人物（１
８）がいるような臨場感を得ることができる。これは遠
隔地にいる番号１３の対話者についても同様のことがい
える。

【００２８】さらに図８に示すように２人の人物（番号
１１，１２）が遠隔地におり、それぞれが鏡像１３，１
４，１５，１６を見ている状態では、番号１１の対話者
は番号１４の鏡像（対話者２の鏡像）の位置に向けて話
かけていることになる。番号１２の対話者も同様であ
る。これは対話者１２にとって、仮想像１７の位置に話
かけることになり両者は対話を行うことができる。この
原理は、対話者が３人以上でも成立する。

【００２９】上述の実施の形態の他に次の例を実施でき
る。

【００３０】１）上述の実施例ではサーバ１００側では
映像、すなわち、動画像および音声を合成したが、合成
対象を動画像のみとすることもできる。

【００３１】２）上述の実施の形態では、映像通信シス
テムを電子会議に適用した例を示したが、遠隔地にいる
複数の人間による各種の情報通信に本発明を適用でき
る。

【００３２】３）上述の実施の形態ではＬＡＮに複数の
クライアントが接続するれいであったが、ＬＡＮに代わ
り、公衆電話回線を介在させた通信ネットワーク、たと
えば、インタ−ネットを使用することもできる。

【００３３】４）ビデオカメラに優先順位を定めてお
き、複数の人物の映像を重複して表示する場合には上記
優先順位にしたがって、表示を行い、優先順位の低い映
像から重複部分をマスク（除去）することも可能であ
る。

【００３４】５）表示画面中の同一位置に複数の人物が
存在する場合がある。そこで、ビデオカメラと被写体の
人物との間の距離を測定しておく。人物画像の輪郭線に
より人物の位置を検出し、複数の人物画像の位置が一致
する場合には、測定距離の小さい方の人物画像を優先し
て表示することも可能である。なお、被写体の距離（位
置）を測定する方法には、天井にカメラを設置し、３角
方の原理で人物の位置、距離を測定する方法や、磁気を
使用する位置検出方法、ステレオ立体視による位置検出
方法等、周知の方法を使用するとよい。

【００３５】６）上述の第１の実施形態では、クライア
ント２００側で背景の除去処理と、鏡像への変換処理を
行ったが、画像のこま送り速度を優先させる場合には、
ビデオカメラ１０から入力した映像をそのまま、サーバ
ー１００に送り、サーバ１００側で、画像合成を行うと
よい。このとき、背景の除去処理は行わない。また、サ
ーバー側での画像処理として、人物画像の大きさがほぼ
同一となるように各人物画像を圧縮／拡大することもで
きる。

【００３６】

【発明の効果】以上、説明したように請求項１、４の発
明によれば、遠隔地にいる人物像を鏡像の形態で１つに
合成し、表示することで、その表示を見るものは自己が
あたかも仲間と同一の１つの部屋にいるような臨場感を
持つことができる。

【００３７】加えて、同一縮尺で合成画像を作ることが
でき、利用者間の相対位置関係が明確になる。また、表
示される映像が鏡像映像のため、鏡を見ている場合のア
ナロジーを使うことにより指さし等の非言語対話が容易
に行え、臨場感がさらに向上する。

【００３８】請求項２、５の発明では、通信ネットワー
クを介して映像を通信する場合にも、各人物画像の表示
に際して、タイムラグが生ぜず、良質な表示画像を得る
ことができる。

【００３９】請求項３、６の発明では、プロジェクタ等
により光学的に画像を合成することで、多数の人物を大
きなスクリーンに表示することができ、多数の人間を取
り扱いの対象とすることができる。

【図面の簡単な説明】

【図１】本発明第１実施の形態のシステム構成を示すブ
ロック図である。

【図２】サーバ１００およびクライアント２００のシス
テム構成を示すブロック図である。

【図３】クライアント側の処理手順を示すフローチャー
トである。

【図４】サーバ側の処理手順を示すフローチャートであ
る。

【図５】映像合成を説明するための説明図である。

【図６】第２実施の形態のシステム構成を示す構成図で
ある。

【図７】人物と鏡像の位置関係を示す説明図である。

【図８】人物と鏡像の位置関係を示す説明図である。

【符号の説明】

１ ＣＰＵ ２ ＲＯＭ ３ ＲＡＭ ４ ＣＲＴ ５，９ Ｉ／Ｏ ６ キーボード ７ マウス ８ ＨＤＤ １０ ビデオカメラ

Claims (6)

【特許請求の範囲】
1. 【請求項１】 異なる場所で映像を入力する複数の映像
   入力手段と、 異なる場所で映像を表示する複数の映像表示手段と、 前記複数の映像入力手段から入力された複数組の映像
   を、鏡像となるように１つの映像に合成する画像合成手
   段とを有し、前記画像合成手段により合成した映像を前
   記複数の映像表示手段に転送して、前記複数の映像表示
   手段で表示することを特徴とする映像表示システム。
2. 【請求項２】 請求項１に記載の映像表示システムにお
   いて、前記画像合成手段をサーバ内に設け、前記複数の
   映像入力手段と前記複数の映像表示手段とを複数のクラ
   イアント内に設け、前記サーバーと、前記複数のクライ
   アントを通信ネットワークで接続したことを特徴とする
   映像表示システム。
3. 【請求項３】 請求項１に記載の映像表示システムにお
   いて、前記映像入力手段はビデオカメラ、前記映像表示
   手段はプロジェクタであることを特徴とする映像表示シ
   ステム。
4. 【請求項４】 映像入力する複数の映像入力装置を異な
   る場所に設置し、 映像を表示する複数の映像表示装置を異なる場所に設置
   し、 前記複数の映像入力装置から入力された複数組の映像
   を、鏡像となるように１つの映像に画像処理装置により
   合成し、 前記画像処理装置により合成した映像を前記複数の映像
   表示装置に転送して、前記複数の映像表示装置で表示す
   ることを特徴とする映像表示システムの臨場感向上方
   法。
5. 【請求項５】 請求項４に記載の映像表示システムの臨
   場感向上方法において、前記画像処理装置をサーバー内
   に設け、前記複数の映像入力装置と前記複数の映像表示
   装置とを複数のクライアント内に設け、前記サーバと、
   前記複数のクライアントを通信ネットワークで接続した
   ことを特徴とする映像表示システムの臨場感向上方法。
6. 【請求項６】 請求項４に記載の映像表示システムの臨
   場感向上方法において、前記映像入力装置はビデオカメ
   ラ、前記映像処理装置はプロジェクタであることを特徴
   とする映像表示システムの臨場感向上方法。