JPH04119087A - 画像情報合成端末装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、テレビ会議システムを構成する画像通信端末
装置に関し、特に、遠隔地に分散したユーザがそれぞれ
の画像情報を合成共用することにより、オフィスワーク
、設計業務、ソフトウェア開発等のグループによる協同
作業を各自の机の上で可能とする画像通信端末装置に関
するものである。

〔従来技術〕

パーソナルコンピュータは、従来文書作成や表作成等、
個人業務の支援を中心に利用されてきたが、近年、ロー
カルエリアネットワークや広域網の発達により、分散し
たユーザ間で電子メールを用いた情報交換やファイルサ
ーバを用いた情報共有が可能となった。しかし、電子メ
ールやファイルサーバは、蓄積型の通信機能であり、複
数の分散したユーザがリアルタイムで情報を共有操作す
ることは不可能であった。

最近、グループウェアの登場により、遠隔地のユーザ間
でのウィンドウ共用機能を用いてグループによる共有情
報のリアルタイム編集を可能とするソフトウェアも現わ
れ始めた（石井裕［グループウェアの研究動向」、情報
処理８９年１２月号参照）。

〔発明が解決しようとする課題〕

しかしながら、これらのソフトウェアでは使用できるア
プリケーション（例えば、ワードプロセッシング）やコ
ンピュータの機種に制約があった。

また、グループで操作できる情報は当然コンピュータ内
に電子的に記録された情報に限定されていた。

また、テレビ会議システムのように、画像情報と音声情
報のリアルタイム通信により、遠隔地のユーザとお互い
の顔や提示された文書を見ながら会議を行える従来のシ
ステムでは、相手の提示する文書に対する指示操作（例
えば、質問したい箇所を指や鉛筆、カーソル等で指示す
ること）やコメント操作（例えば、相手の文書の上にコ
メントを書き込むこと）を会議参加者全員が見えるよう
に行なうことはできなかった。そのため、遠隔地のユー
ザとの間に依然ギャップが存在し、文書の協同編集等の
協同作業には不適切であった。

本発明は、前記問題点を解決するためになされたもので
あり、本発明の目的は、コンピータ内に電子的に記録さ
れた情報、及び一般に画像とし、でとらえられる情報（
例えば印刷物）を分散したユーザ間でリアルタイムで共
有し、その共有情報に対し、複数ユーザが同時に指示走
査やコメント操作を手、鉛筆、コンピュータプログラム
等を用いて行える共同作業空間を実現する技術を提供す
ることにある。

本発明の前記ならびにその他の目的と新規な特徴は、本
明細書の記述及び添付図面によって明らかになるであろ
う。

〔課題を解決するための手段〕

前記目的を達成するために、本発明は、通信回線を介し
て遠隔地にある画像端末装置と手元の画像端末装置との
間で画像情報を送受信する通信インタフェースと、画像
情報を入力する画像情報入力手段と、入力された複数の
画像情報を互いの画像が透けて見えるように重ね合わせ
る画像情報合成手段と、重ね合わせた画像情報を画像装
置或いは通信回線に出力する画像情報出力手段を備えた
ことを最も主要な特徴とする。

また、前記画像情報合成手段は、画像全体を半透明で重
ね合わせる手段と、部分的に不透明に重ね合わせる手段
と、部分的に半透明に重ね合わせる手段と、これらの画
像情報を重ね合わせる手段を組み合わせて多様な画像情
報合成を行う手段を備えたことを特徴とする。

〔作　用〕

前述した手段によれば、協同作業を行ないたい各メンバ
のパーソナルコンピュータの画面情報やビデオカメラで
とらえた印刷文書や手書き文書、手や鉛筆の画像情報を
透けて見えるように（例えば、半透明的に）オーバーレ
イ合成し分配することにより、以下の操作が可能となる
。

（１）相手の提示した文書の上のある部分に対する指示
操作をその上に重ねたコンピュータ画面上のマウスカー
ソル或いは指、鉛筆の映像によりリアルタイムで行なえ
る。

（２）相手文書に対するコメント操作を、その上に重ね
た紙或いはコンピュータ画面に情報を書き込むことによ
り、リアルタイムで行なえる。

（３）お互いの顔画像情報を不透明的に部分合成し分配
すること、及び電話と組み合わせて使用することにより
、テレビ会議、テレビ電話的な機能も容易に実現できる
。

これにより、通常の会議室における黒板や作業机の上で
行っている協同編集作業を、分散した端末間で行うこと
が可能になる。

〔発明の実施例〕 第１図は、本発明の画像合成端末装置の基本構成を説明
するための機能ブロック構成図である。

本発明の画像合成端末装置は、第１図に示すように、ロ
ーカルエリアネットワーク、ＣＡＴＶ（有線テレビ）ネ
ットワーク、広帯域ｌ５ＤＮ（統合ディジタル通信サー
ビス）などの画像通信網を介して画像情報を送受する通
信インタフエース部１６と、遠隔地から送られたきた画
像情報を通信インタフェース部１６より入力すると共に
ローカルな画像装置（例えば、ローカルなビデオカメラ
やビデオデツキ、パーソナルコンピュータなど）からの
画像情報を入力する画像情報入力部１１と、この画像情
報入力部１１からの画像情報を透明或いは不透明に重ね
合わせて出力部に送る画像情報合成部１２と、この合成
結果（或いは入力画像情報そのまま）を外部（内蔵或い
は外付けの表示部１５、通信インタフェース部１６、ビ
デオデツキなどのローカルな画像装置）に８力する画像
情報出力部１４と、前記画像情報入力部１１゜画像情報
合成部１２２画像情報出力部１４を制御する制御部１３
を具備したものである。このように構成することにより
、遠隔地に分割したユーザ間でリアルタイムで互いのコ
ンピュータスクリーン上の情報や机の上の紙や手などの
画像情報を合成共有し、共有情報に対しユーザが同時に
指示操作やコメント操作を行なうことが可能となる。

画像情報合成部１２における画像情報の合成の仕方には
。

（］）画像全体を半透明で重ね合わせる手段と（２）部
分的に不透明に重ねる手段と、（３）部分的に半透明に
重ねる手段とがあり、これらの画像情報合成手段を組み
合わせて複数種の画像画像合成を可能とする（多段に組
み合わせて複雑な画像情報を合成する手段も含む）。

制御部１３は、画像を半透明或いは不透明に部分的に重
ねる際、入力画像の位置関係を制御する。

また、半透明で画像を重ね合わせる際には、制御部１３
はそれぞれの画像信号の比率を制御する。

すなわち、画像情報合成部１２への入力画像信号の振幅
をＡｌ、Ａ２．　・−、Ａｎ、Ｂｌ、Ｂ２゜・・・、Ｂ
ｎとすると、半透明合成結果の８力画像信号の振幅Ｃは
次のように表わされる。

Ｃ：＝ｗｌＸＡ１＋ｗ２ＸＡ２＋−＋ｗｎＸＡｎ＋ｗｌ
’ＸＢ１＋ｗ２’ＸＢ２＋−＋ ｗｎ’ＸＢｎ ここで、ｗ１〜ｗｎ、ｗｌ’〜ｗｎ’の値をすべて一定
にしたり、或いは個別に変更したり、画像の位置関係に
応じて変更する等の制御を制御部１３により行なう。こ
れらの制御は、ユーザからの指示によっても外部コンピ
ュータからの制御情報によっても可能である。

従来の技術とは、特に、入力した画像情報を半透明的に
重ね合わせて合成し、通信回線を介して遠隔地のユーザ
間で合成画像を共有する点が異なる。

第２図（ａ　）、（ｂ　）に、本発明の３台の画像合成
端末装置を用いて協同作業を行なう場合の作用を示す。

第２図において、Ａ１はユーザＡの紙と鉛筆の画像、Ｂ
１はユーザＢの手の画像、Ｃ１はユーザＣのパソコン画
像、２１は画像情報合成端末装置Ａ、２２は画像情報合
成端末装置Ｂ、２３は画像情報合成端末装置Ｃ１２４は
画像Ａｌ、Ｂｌ、Ｃ１の合成画像、２５は通信網である
。

以下、本発明の実施例を図面を用いて具体的に説明する
。

〔実施例１〕 第３図は、本発明の実施例１における画像合成端末装置
２台からなるシステムの全体構成を示す機能ブロック構
成図である。

第４図は、本実施例１における画像情報の流れを示す概
略図である。

本実施例１では、ユーザＢがパーソナルコンピュータを
用いて作成した文書に対して、ユーザＡは紙と鉛筆を用
いてコメントを行なう、或いはその逆にユーザＡが作成
した紙の文書に対してユーザＢがパーソナルコンピュー
タを用いてコメントを行なう。

まず、ユーザＢのパーソナルコンピュータのモニタの画
像情報Ｂｌを画像情報合成端末装置Ｂ２２に入力し、画
像情報合成処理は行なわずそのまま画像情報出力部１４
より通信インタフェース部１６を通して画像情報合成端
末装置Ａ２１の画像情報入力部１１に送る。

この画像情報Ｂ１とユーザＡの机の上の紙と鉛筆の画像
情報Ａ１とを画像情報合成端末装置Ａ２１に入力し、画
像情報合成部１２で両入方画像全体を半透明的に重ね合
わせ、その合成結果Ｃを画像情報合成端末装置Ａ２］８
の表示部１５に出力すると共に１画像情報出力部１４か
ら通信インタフェース部１６を通して画像情報合成端末
装置Ｂ２２に送り返す。

画像情報合成端末装置Ｂ２２では、送り返されてきた画
像情報Ｃを出力すると共に、記録のためにビデオデツキ
２６にも出力する。

このように構成することにより、ユーザＡ及びＢそれぞ
れの作業空間の画像Ａ１及びＢ１は、半透明の状態で両
方の画像が透けて見えるようにオーバーレイされてそれ
ぞれの画像情報合成端末装置の表示部１５に表示されて
いるため、互いの画像を同時に見ることができる。更に
、両画像は重なっているために、その空間的位置関係を
利用して、ユーザＡは鉛筆で、ユーザＢはマウスカーソ
ルで自分及び相手の文書の特定部分に対する指示操作を
同時に行なうことができる。

また、相手文書に対するコメント処理は、ユーザＡの場
合、鉛筆で紙に書き込みをすることによす簡単に行なう
ことができる。ユーザＢは、コメント処理の際は、作図
ソフトやワープロソフトの画面を相手画面にオーバーレ
イすることにより、容易に相手文書の上にマウスカーソ
ルでマークを付けたり、キーボードを用いて書き込みを
行なうことができる。

本実施例１のユーザＢの利用形態に見られるように、パ
ーソナルコンピュータと本画像情報合成端末装置２１．
２２を接続することにより、コンピュータ内に蓄積され
た大量の情報を協同作業に利用できることが本発明の大
きな特徴である。

入力画像としては、テレビカメラの場合はＮＴＳＣやＰ
ＡＬ、コンピュータスクリーンの場合はＲＧＢが現在標
準であるが、本発明はどのような画像信号形式であって
も適用可能であることは言うまでもない。

また、スキャンコンバータなどの画像信号変換器を画像
情報入力部１１或いは画像情報出力部１５において用い
ることにより、異なる画像信号を本画像情報合成端末装
置２１．２２で統一的に扱うことができる。将来、ＨＤ
　Ｔ　Ｖ　（Ｈｉｇｈ　Ｄ　ｅｆｉｎｉｔｉｏｎ　Ｔ　
ｅｌｅｖｉｓｉｏｎ）のような高性能の画像信号標準の
普及により、本画像情報合成端末装置の効用は飛躍的に
拡大する。

〔実施例２〕 第５図は、本発明の実施例２における画像情報合成端末
装置２台からなるシステムの全体構成を示す機能ブロッ
ク構成図であり、第６図は、本実施例２における画像情
報の流れを示す概略図である。

本実施例２では、前記実施例１の構成に加えて。

お互いの顔画像を不透明に部分的に合成することにより
、相手の顔画像を見ながら協同作業を行なうことを可能
としている。

まず、第５図及び第６図に示すように、ユーザＢのパー
ソナルコンピュータのモニタの画像情報Ｂ１を画像情報
合成端末装置Ｂ３２に入力し、画像情報合成処理は行な
わずそのまま画像情報出力部１４より通信インタフェー
ス部１６を通して画像情報合成端末装置Ａ３１の画像情
報入力部１１へ送る。

この画像情報Ｂ１とユーザＡの机の上の紙と鉛筆の画像
情報Ａ１とを画像情報合成端末装置Ａ３１に入力し、画
像情報合成部１２て面入力画像全体を半透明的に重ね合
わせ、その合成結果Ｃを生成する。

更に、この合成画像Ｃを、画像情報出力部１２から通信
インタフェース部１６を通して画像情報合成端末装置Ｂ
３２へ送り出すと共に、画像情報合成端末装置Ｂ３２か
らの入力画像Ｂ２（ユーザＢの顔画像）と不透明に部分
的に合成して画像Ｄ１を得て、これを画像情報合成端末
装置Ａ３１の表示部１５に出力する。

画像情報合成端末装置Ｂ３２では、送られてきた画像情
報Ｃと画像情報Ａ２（ユーザＡの顔画像）とを不透明に
部分的に合成して画像Ｄ２を得て、これを表示部１５に
出力する。

実施例１．２では、ユーザＡが机の上の紙と鉛筆を、ユ
ーザＢがパーソナルコンピュータを利用しているが、双
方が机の上で作業をしても或いはパーソナルコンピュー
タを利用しても当然同様の効果を得ることができる。

そして、双方がパーソナルコンピュータを使用する際、
同一のアプリケーションプログラムを使用する必要は全
く無く、それぞれ好みのアプリケーションプログラムを
使用できる。

更に、本画像情報合成は、それぞれのコンピュータが同
一機種である必要も無く、例えば、ＭＳ−ＤＯＳコンピ
ュータとＵＮＩＸコンピュータを同時に使用して協同作
業を行なうことができる。

これらの効果は、本発明が機種やアプリケーションに依
存しない画像信号レベルの合成を基本としていることに
よる。

また、本発明では、人間のコミュニケーションにおいて
重要な役割を果たすダイナミックな手のジェスチャも画
像情報として容易に伝えることができるという効果があ
り、書道などの遠隔教育の応用において威力を発揮する
。

前記実施例１及び２では、２人のユーザによる使用例を
示したが、３Å以上のユーザによる協同作業にも同様に
本発明を適用できることは言うまでもない。

〔実施例３〕 第７図は、本発明の画像情報合成にクロマキーを用いた
実施例３を説明するための図である。

画像情報合成の方法としては、半透明なオーバーレイと
不透明な部分的オーバーレイの他に、クロマキーによる
オーバーレイ７３を使う方法がある。

本実施例３は、クロマキーにより指示操作を行なう指や
鉛筆の画像７１の背景をキーカラーに指定してそこを透
明にし、指示或いは′コメントされる文書の画像７２を
その裏に表示することにより、あたかも指や鉛筆で文書
７２を直接指示しているような画像７２を得ることがで
き、協同作業に有効である。

〔実施例４〕 第８図は、本発明の画像の半透明重ね合わせの代替方式
として、入力画像を短冊状に分割し、交互に１つおきに
張り合わせる空間分割方式を用いた実施例４を説明する
ための図である。

第８図では、櫛の目のような交互に画像８１と画像８２
を細かく切り取り合成表示することにより、人間の目か
ら見て両方の画像があたかも半透明状に重なり合ったの
と同等の効果を得ることができる。第９図に示すように
１両画像を格子状に合成しても同様の効果を得ることが
できる。本方式は、２つの入力画像にとどまらず、３つ
以上の入力画像を一度に合成できる効果がある。

〔実施例５〕 第１０図は、本発明の実施例５の機能ブロック構成図で
ある。

本実施例５の画像情報合成端末装置は、第１０図に示す
ように、画像情報合成部９２をスイッチ部９６に結合さ
れた半透明オーバーレイ処理を行なうモジュール９７及
び不透明のオーバーレイ処理を行なうモジュール９８の
集合体として構成し、入力画像情報に対する多段の合成
処理とその結果の出力の制御を制御部９３とスイッチ部
９６において行なう。

スイッチ部９６の接続を外部からの制御信号により設定
することにより、実施例１，２で示したような多様なシ
ステム構成をとることができる。

以上、本発明を実施例にもとづき具体的に説明したが、
本発明は、前記実施例に限定されるものではなく、その
要旨を逸脱しない範囲において種々変更可能であること
は言うまでもない。

〔発明の効果〕

以上、説明したように、本発明によれば、（１）分散し
たユーザが、リアルタイムで情報を共有できる。

また、コンピュータ内に蓄積された情報、及び印刷物や
手書き文書などのコンピュータ外部にある情報の両方を
同時に共有することができる。

また、印刷物の種類やコンピュータの機種、アプリケー
ションプログラムに全く依存しないことが従来にない選
択の自由をユーザに与える。

（２）画像合成機能により、相手の提示する文書に対す
る指示操作やコメント操作を手や鉛筆、マウスカーソル
、キーボードを用いて行なえる。これらの操作には、普
段使い慣れた個人用ツール（ワープロソフトや万年筆）
をそのまま協同作業にも利用できるため、ユーザにとっ
ては新しいツールの操作を覚える必要がなく、心理的負
荷が小さい。特に、手によるリアルタイムのジェスチャ
をそのまま画像情報として共有できるため、書道の遠隔
指導などにも有効である。

【図面の簡単な説明】

第１図は、本発明の画像情報合成端末装置のそ本構成を
説明するための機能ブロック構成図、第２図（ａ）、（
ｂ）は、本発明の３台の画像情報合成端末装置を用いて
協同作業を行なう場合の作用を説明するための図、 第３図は、本発明の実施例１における文書の協同編集作
業のための画像情報合成端末装置２台からなるシステム
の全体構成を示す機能ブロック構成図、 第４図は、第３図に示す実施例１における画像情報の流
れを示す概略図、 第５図は、本発明の実施例２における文書の協同編集作
業のための画像情報合成端末装置２台からなるシステム
の全体構成を示す機能ブロック構成図、 第６図は、第５図に示す実施例２における画像情報の流
れを示す概略図、 第７図は１本発明の画像情報合成にクロマキーを用いた
実施例３を説明するための図、第８図は、本発明の画像
の半透明重ね合わせの代替方式として短冊状の空間分割
方式を用した実施例４を説明するための図、 第９図は、画像の半透明重ね合わせの代替方式として格
子状の空間分割方式を用いた実施例４の変形例を説明す
るための図、 第１０図は、本発明の実施例５の機能ブロック構成を示
すブロック図である。 図中、１１・・・画像情報入力部、１２・・・画像情報
合成部、１３・・制御部、１４・・・画像情報出力部、
１５・・表示部、１６・・・通信インタフェース部。

Claims (2)

【特許請求の範囲】
1. （１）通信回線を介して遠隔地にある画像端末装置と手
   元の画像端末装置との間で画像情報を送受信する通信イ
   ンタフェースと、画像情報を入力する画像情報入力手段
   と、入力された複数の画像情報を互いの画像が透けて見
   えるように重ね合わせる画像情報合成手段と、重ね合わ
   せた画像情報を画像装置或いは通信回線に出力する画像
   情報出力手段を備えたことを特徴とする画像情報合成端
   末装置。
2. （２）前記画像情報合成手段は、画像全体を半透明で重
   ね合わせる手段と、部分的に不透明に重ね合わせる手段
   と、部分的に半透明に重ね合わせる手段と、これらの画
   像情報を重ね合わせる手段を組み合わせて多様な画像情
   報合成を行う手段を備えたことを特徴とする請求項１に
   記載の画像情報合成端末装置。