JPH0955923A - アプリケーションソフトウェア連動制御方法 - Google Patents

Abstract

(57)【要約】 【課題】 遠隔地にいるユーザが、自由なサイズのアプ
リケーションソフトを共有して、スムーズで自由度の高
いコミュニケーションを行うことを可能とするアプリケ
ーションソフトウェア連動制御方法を提供する。 【解決手段】 各端末のユーザ入力を全端末に配信し、
各端末で自端末の入力のように処理する。これにより各
端末で起動されたアプリケーションソフト１０８ａ，１
０８ｂを常に同じ状態に保ち、同じ画面出力を提供す
る。この際、ユーザ入力の配信をアプリケーションソフ
トへ送る前段で行って、既存のアプリケーションソフト
の改造の必要なく任意のアプリケーションソフトを連動
制御する。また、カメラ１０１ａ，１０１ｂによるユー
ザの机上映像を互いに重畳合成し、連動制御されたアプ
リケーションソフトの出力表示に合成して、共有データ
をアクセスしながらの柔軟性に富んだ素早いインストラ
クションを可能にする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、通信回線を介して
接続された複数のコンピュータを利用した画像通信シス
テムに於いて、ユーザが同じアプリケーションソフトウ
ェアを共有しながら、協同で作業を進めることを可能と
するアプリケーションソフトウェア連動制御方法に関す
るものである。

【０００２】

【従来の技術】従来のアプリケーションソフトウェア
（以下、アプリケーションソフトと記す）の連動制御を
可能とする方法としては以下に示すような技術がある。

【０００３】一つは、アプリケーションソフトが１台の
マシン（以下サーバと呼ぶ）で動作するタイプであり、
これを集中型と呼ぶ。集中型では、各ユーザ入力は各ユ
ーザ端末（以下クライアント）からサーバに送られ、ユ
ーザ入力の実行はそのサーバで行われる。実行の結果は
サーバから各クライアントへ送られて表示される。この
サーバからクライアントへの結果の送信には、グラフィ
ックス描画命令のセットが送られものとビットマップデ
ータが送られるものの２種類がある。集中型では、マシ
ン間で転送されるデータ量が多いため、ネットワークに
かける負荷が大きい。また、その結果、クライアント側
の反応性が悪いという問題があった。

【０００４】もう一つは、集中型に対し、各ユーザの入
出力が行われる各端末でアプリケーションソフトがそれ
ぞれ動作する分散型である。分散型では各マシン間で転
送されるデータ量は減るものの、各マシン間でのデータ
の整合性をとるための排他制御が複雑になる。そのた
め、データを入力するには、明示的な入力権の要求操作
による入力権の移行を必要としたり、入力権の移行が瞬
時に行われなかったり、さらには入力権の取り合いが起
こったりするなどの問題があった。

【０００５】入力権の問題を取り除き、連動制御された
アプリケーションソフトを共有してのコミュニケーショ
ンを可能にする技術として、画面上でアプリケーション
ソフトの出力表示に透明なシートをかぶせて描画を行う
方法がある。各ユーザ専用の透明なウインドウをアプリ
ケーションソフトの出力表示上に重ね、書き込みはその
透明なウインドウに行う。この方法では、アプリケーシ
ョンソフトそのものにアクセスしないので、複雑な排他
制御を行わずに、画面上でアプリケーションソフトへの
書き込みが可能になる。しかしながら、これらの方法で
は、入力インタフェースとしてマウスやキーボードを用
いるため、人間のスムーズなインタラクションを阻害す
るという問題があった。

【０００６】人間のスムーズなインタラクションを可能
にし、ハンドジェスチャ等の自由度の高いインタラクシ
ョンを可能にする技術として、ビデオオーバーレイを用
いた方法がある（特開平４−１１９０８７号）。コンピ
ュータ画像をビデオ画像にダウンコンバートし、そのビ
デオ画像を机上を撮影したビデオ画像と合成する方法で
ある。

【０００７】

【発明が解決しようとする課題】以上に述べたように、
従来のアプリケーションソフト連動制御方法では、ネッ
トワーク負荷や排他制御処理によるソフトウェアの反応
性の悪さや、マウスやキーボードを用いた入力による人
間の反応のし難さという、いずれもスムーズなコミュニ
ケーションを阻害し、ユーザが作業そのものに集中でき
ないという問題があった。

【０００８】一方、ビデオオーバーレイを用いた方法で
は、アプリケーションソフトのデータへアクセスできる
のは一方のユーザのみであるという問題があった。さら
に、コンピュータ画像をビデオ画像にダウンコンバート
するため、ビデオの解像度の限界によって、共有できる
画面サイズが限定されてしまうという問題があった。従
って、このようなアプリケーションソフトのデータへの
アクセスの制限や、ビデオの解像度の限界による画面サ
イズの制限により、十分なサイズのアプリケーションソ
フト画面を共有できないという問題があった。

【０００９】本発明はこれらの問題を解決し、遠隔地に
いるユーザが、自由なサイズのアプリケーションソフト
を共有して、スムーズで自由度の高いコミュニケーショ
ンを行うことを可能とするアプリケーションソフトウェ
ア連動制御方法を提供することを目的とする。

【００１０】

【課題を解決するための手段】上記目的を達成するため
に本発明は、通信回線を介して接続された複数のコンピ
ュータを利用した端末による画像通信システムにおい
て、各端末のデバイスドライバやウインドウシステムか
らアプリケーションソフトウェアへ送られるユーザ入力
をアプリケーションソフトウェアに渡す前段で取得する
行程と、前記取得したユーザ入力を他の端末へ転送する
行程と、他端末より転送されてきたユーザ入力を受けと
る行程と、前記受けとったユーザ入力を自端末で発生し
たユーザ入力のように変換する行程と、自端末で発生し
たユーザ入力と前記他端末より転送されてきたユーザ入
力を全ての端末において同一の順番でアプリケーション
ソフトウェアへ転送するように整合をとる行程と、前記
整合のとられたユーザ入力を対応するアプリケーション
ソフトウェアへ転送する行程と、を有するアプリケーシ
ョンソフトウェア連動制御方法であって、各端末でユー
ザの映像を撮影する行程と、前記撮影した映像を他端末
へ転送する行程と、他端末より転送されてきた映像を受
けとる行程と、前記受けとった映像と自端末で撮影した
映像をそれぞれの映像が透けて見えるように合成する行
程と、前記合成した映像をアプリケーションソフトウェ
アの出力画面上に合成表示する行程と、を有することを
特徴とするアプリケーションソフトウェア連動制御方法
を手段とする。

【００１１】すなわち、本発明は、通信回線を介して接
続された複数のコンピュータを利用した画像通信システ
ムにおいて、それぞれの端末で起動されたアプリケーシ
ョンソフトの初期および常時の状態を同一にし、各端末
で行われるユーザ入力を全端末に分配して共有すること
により、異なったマシンで動作する同じ状態に保たれた
アプリケーションソフトの出力画像を画像１とし、それ
ぞれのユーザの机上等を撮影した映像をそれぞれの映像
が透けて見えるように合成した合成映像を画像２とした
とき、画像１と画像２をさらにそれぞれが視認できるよ
うに合成することを主要な特徴とする。

【００１２】上記において、各端末で動作するアプリケ
ーションソフトを同一の状態に保つ手段として、第１の
発明では、自端末で発生したユーザ入力と他端末より転
送されてきたユーザ入力を全ての端末において、同一の
順番でアプリケーションソフトウェアへ転送するように
整合をとる行程と、前記整合のとられたユーザ入力を対
応するアプリケーションソフトウェアへ転送する行程
と、を有し、第２の発明では、明示的な入力権の授受を
端末間で行う行程と、前記入力権を有している場合にの
み、ユーザ入力を他端末に転送し、各端末において該ユ
ーザ入力をアプリケーションソフトウェアに転送する行
程と、を有する。

【００１３】また、上記において、始めに、各端末で同
じ条件で起動した同じアプリケーションソフトウェアを
対応付ける行程を用意するのが、ユーザ入力を同一のア
プリケーションソフトに渡すのを容易にする上で好適で
ある。

【００１４】上記のようなアプリケーションソフト連動
制御方法において、各端末で行われるユーザ入力はすべ
ての端末に配信され、それぞれの端末で自端末からの入
力のように処理される。このため、各端末のマシンで起
動されたアプリケーションソフトは常に同じ状態に保た
れ、同じ画面出力を各ユーザに提供する。この際、ユー
ザ入力の横取り・配信を、ユーザ入力がアプリケーショ
ンソフトへ送られる前段で行うことによって、既存のア
プリケーションソフトの改造の必要性をなくし、任意の
アプリケーションソフトを連動制御を可能にする。ま
た、画像の合成に際し、連動制御されたアプリケーショ
ンソフトの出力表示を、個人使用の場合と変わりがない
ようにすることによって、モニタの解像度全てを利用可
能にする。

【００１５】一方、ビデオカメラ等の撮像手段によって
とらえられ取得されたユーザの映像（ビデオ画像）を、
各端末に送信してアプリケーションソフトの出力画面上
に重畳することによって、ユーザがビデオカメラ等の下
で指を用いたポインティングやハンドジェスチャ、さら
には手書きによるマーキング等を行うことでアプリケー
ションソフトのデータを参照しながらのコミュニケーシ
ョンを行うことができるようにする。

【００１６】以上により、コンピュータ上の様々なアプ
リケーションソフトで作成されたデータを共有しなが
ら、指を用いたポインティングやハンドジェスチャ、さ
らには手書きによるマーキング等、従来のマウスやキー
ボードでは難しかった柔軟性に富んだ素早いインタラク
ションを可能にする。

【００１７】

【発明の実施の形態】以下、本発明の実施の形態を、図
面を用いて詳しく説明する。

【００１８】《実施の形態例１》本発明の第１の実施の
形態例を示す。本例では図１に示す構成例の装置におい
て実施した本発明のアプリケーションソフト連動制御方
法について説明する。

【００１９】図１において、１０１ａ，１０１ｂはカメ
ラ、１０２ａ，１０２ｂはモニタ、１０３ａ，１０３ｂ
はコンピュータ、１０４ａ，１０４ｂは画像処理装置、
１０５ａ，１０５ｂは画像通信装置、１０６ａ，１０６
ｂはそれぞれ１０１ａ〜１０５ａおよび１０１ｂ〜１０
５ｂで構成されるシステム、そして、１０７は１０６ａ
および１０６ｂを結ぶネットワークである。

【００２０】システム１０６ａの使用者をユーザＡ、シ
ステム１０６ｂの使用者をユーザＢとし、コンピュータ
１０３ａ上で動作する汎用アプリケーションソフト１０
８ａ、コンピュータ１０３ｂ上で動作し、汎用アプリケ
ーションソフト１０８ａと同じ汎用アプリケーションソ
フトを１０８ｂとする。

【００２１】図２に、本実施の形態例におけるアプリケ
ーションソフト連動制御方法を、フローチャートで示
す。

【００２２】まず、システム１０６ａのカメラ１０１ａ
でとらえられ取得された映像は、画像通信装置１０５ａ
によりネットワーク１０７を介してシステム１０６ｂへ
送られる。同様にシステム１０６ｂのカメラ１０１ｂで
撮影された映像は、画像通信装置１０５ｂによりネット
ワーク１０７を介してシステム１０６ａに送られる。

【００２３】システム１０６ａでは、システム１０６ｂ
より送られたきた映像を画像通信装置１０５ａで受信
し、画像処理装置１０４ａへ送る。画像処理装置１０４
ａでは、カメラ１０１ａの映像とおよび画像通信装置１
０５ａより送られてきた映像を、それぞれの画像が透け
て見えるように合成する。なお、この映像を合成する処
理は、後記のコンピュータ１０３ａより送られてくる出
力画像を、これらの画像に透けて見えるように合成する
際に行ってもよい。

【００２４】システム１０６ｂでも、同様にシステム１
０６ａより送られてきた映像を画像通信装置１０５ｂで
受信し、画像処理装置１０４ｂへ送る。画像処理装置１
０４ｂでは、カメラ１０１ｂの映像と画像通信装置１０
５ｂより送られてきた映像を、それぞれの画像が透けて
見えるように合成する。なお、この映像を合成する処理
は、後記のコンピュータ１０３ａより送られてくる出力
画像を、これらの画像に透けて見えるように合成する際
に行ってもよい。

【００２５】ユーザＡがコンピュータ１０３ａ上で動作
中の汎用アプリケーションソフト１０８ａにマウスクリ
ックやキーボード入力等のなんらかの入力を与えると、
そのユーザ入力はコンピュータ１０３ａ上で動作中のア
プリケーションソフト１０８ａへ与えられるとともに、
ネットワーク１０７を介してシステム１０６ｂのコンピ
ュータ１０３ｂに送られる。コンピュータ１０３ｂでは
受けとったユーザ入力を、あたかもシステム１０６ｂで
発生したローカルなユーザ入力のように変換し、コンピ
ュータ１０３ｂ上で動作する汎用アプリケーションソフ
ト１０８ｂへ与える。

【００２６】ユーザＢによる入力も同様にアプリケーシ
ョンソフト１０８ｂに与えられるとともに、ネットワー
ク１０７を介してシステム１０６ａのアプリケーション
ソフト１０８ａに与えられる。

【００２７】次に、システム１０６ａのコンピュータ１
０３ａでは、アプリケーションソフト１０８ａに与えら
れたユーザ入力等に基づいてコンピュータ出力画像を生
成し、画像処理装置１０４ａに送る。画像処理装置１０
４ａでは、前述のカメラ１０１ａおよび画像通信装置１
０５ａより送られてきた映像の合成映像と、コンピュー
タ１０３ａより送られてきた出力画像を、それぞれの画
像が透けて見えるように合成し、モニタ１０２ａに出力
する。

【００２８】システム１０６ｂでも、同様にアプリケー
ションソフト１０８ｂに与えられたユーザ入力等に基づ
いてコンピュータ出力画像を生成し、画像処理装置１０
４ｂに送る。画像処理装置１０４ｂでは、前述のカメラ
１０１ｂおよび画像通信装置１０５ｂより送られてきた
映像の合成映像と、コンピュータ１０３ｂより送られて
きた出力画像を、それぞれの画像が透けて見えるように
合成し、モニタ１０２ｂに出力する。

【００２９】《実施の形態例２》本発明の第２の実施の
形態例を示す。本例では、ユーザ入力の共有により汎用
のアプリケーションソフトに変更を加えることなく、ア
プリケーションソフトの画面出力を同等に保つ方法につ
いて、２地点接続の例で説明する。

【００３０】図３は、本発明の第２の実施の形態例を示
すユーザ入力の共有の例を説明するための図であって、
２地点に配置された２台のコンピュータ上で動作するプ
ログラム間のメッセージの流れを示したものである。

【００３１】図３において、２台のコンピュータをそれ
ぞれ２０５ａ，２０５ｂとする。また、２０１ａ，２０
１ｂはそれぞれのアプリケーションソフト、２０２ａ，
２０２ｂはそれぞれのウンドウシステム、２０３ａ，２
０３ｂはそれぞれのハードウェア、２０４ａ，２０４ｂ
はそれぞれの拡張ソフトウェア、そして２０６は２台の
コンピュータ２０５ａ，２０５ｂを結ぶネットワークで
ある。

【００３２】図４に、本実施の形態例におけるユーザ入
力の共有の例を、フローチャートで示す。

【００３３】今、コンピュータ２０５ａでユーザ入力が
与えられたとする。ユーザ入力は、ハードウェア２０３
ａからウンドウシステム２０２ａへ送られる。ウンドウ
システム２０２ａでは、ハードウェア２０３ａからの入
力を解析し、該当するアプリケーションソフト２０１ａ
へ入力イベントとして送る。拡張ソフトウェア２０４ａ
はウンドウシステム２０２ａからアプリケーションソフ
ト２０１ａへのイベントの配送を監視し、コンピュータ
２０５ｂと共有中のアプリケーションソフト２０１ａへ
の配送を横取りする。つまり、イベントをアプリケーシ
ョンソフト２０１ａに渡す前段で取得する。横取りされ
たイベントはそのまま、アプリケーションソフト２０１
ａへ送られるとともに、ネットワーク２０６を介して、
コンピュータ２０５ｂに送られる。コンピュータ２０５
ｂでは、拡張ソフトウェア２０４ｂにより、コンピュー
タ２０５ａより送られてきたイベントを解析し、コンピ
ュータ２０５ｂで発生したイベントのように変換する。
変換されたイベントはアプリケーションソフト２０１ｂ
へ送られる。

【００３４】コンピュータ２０５ｂで発生したユーザ入
力に関しても同様の処理が行われ、ユーザ入力が共有さ
れる。

【００３５】なお、ウインドウシステム２０２ａは一つ
の例であって、種々のシステムドライバであってもよ
い。このことは、各実施の形態例においても同様であ
る。

【００３６】《実施の形態例３》本発明の第３の実施の
形態例を示す、本例では、本発明のアプリケーションソ
フト連動制御方法による画面表示について、２地点を接
続した場合の例で説明する。

【００３７】図５はその画面表示例を示す図である。図
５において、３０１ａはユーザＡの使用するコンピュー
タＡの出力画面、３０１ｂはユーザＢの使用するコンピ
ュータＢの出力画面である。また、３０２ａと３０２ｂ
は、それぞれコンピュータＡとコンピュータＢ上で動作
し、ユーザ入力の共有により状態が同じに保たれた汎用
のアプリケーションソフトの画面出力である。また、３
０６はコンピュータＡ上で動作する別のアプリケーショ
ンソフトの画面出力である。そして、３０３ａはユーザ
Ａの机上映像、３０３ｂはユーザＢの机上映像、３０４
は机上映像３０３ａと机上映像３０３ｂを双方が透けて
見えるように合成した映像である。

【００３８】３０５ａ，３０５ｂがそれぞれユーザＡ、
ユーザＢが見るモニタ画像で、コンピュータ出力画像３
０１ａ，３０１ｂ上に合成机上映像３０４が、双方透け
て見えるように重畳表示されている。

【００３９】《実施の形態例４》本発明の第４の実施の
形態例を示す。本例では、アプリケーションソフトの状
態を同じに保つために、端末間でイベント列の整合をと
る方法について、２地点接続の例で説明する。

【００４０】図６は、本発明の第４の実施の形態例を示
す、端末間でイベント列の整合をとる例を説明するため
の図であって、２台のコンピュータ上で動作するプログ
ラム間のメッセージの流れを示したものである。

【００４１】図６において、２地点に配置された２台の
コンピュータをそれぞれ４０５ａ，４０５ｂとする。ま
た、４０１ａ，４０１ｂはそれぞれのアプリケーション
ソフト、４０２ａ，４０２ｂはそれぞれのウインドウシ
ステム、４０４ａ，４０４ｂはそれぞれの拡張ソフトウ
ェア、そして４０６は２台のコンピュータ４０５ａ，４
０５ｂを結ぶネットワークである。また、４０７ａ，４
０７ｂは、それぞれウインドウシステム４０２ａ，４０
２ｂからのイベントを格納するイベントキューで、どち
らもＦＩＦＯ（ファーストイン ファーストアウト）キ
ューである。４０８ａ，４０８ｂは、拡張ソフトウェア
４０４ａ，４０４ｂの状態を示すフラグで、初期状態で
はフラグは上がっていないものとする。

【００４２】図７に、本実施の形態例における端末間で
イベント列の整合をとる例を、フローチャートで示す。

【００４３】まず、コンピュータ４０５ａでイベントが
発生すると、拡張ソフトウェア４０４ａはイベントキュ
ー４０７ａを見る。イベントキュー４０７ａにイベント
が存在する場合には、イベントはイベントキュー４０７
ａに格納される。イベントキュー４０７ａにイベントが
存在しない空の場合には、拡張ソフトウェア４０４ａは
フラグ４０８ａを見る。フラグ４０８ａが上がっていれ
ば、イベントは破棄される。フラグ４０８ａが上がって
いない場合には、拡張ソフトウェア４０４ａはイベント
をイベントキュー４０７ａに格納し、ネットワーク４０
６を介してコンピュータ４０５ｂ上の拡張ソフトウェア
４０４ｂに対し、入力要求を出す。

【００４４】コンピュータ４０５ｂ上の拡張ソフトウェ
ア４０４ｂは入力要求を受けとると、イベントキュー４
０７ｂを見て、イベントキュー４０７ｂにイベントが存
在しなければ、フラグ４０８ｂを上げ、ａｃｃｅｐｔｅ
ｄメッセージをコンピュータ４０５ａ上で動作する拡張
ソフトウェア４０４ａに返す。逆にイベントキュー４０
７ｂにイベントが存在する場合には、ｄｅｎｉｅｄメッ
セージを返す。

【００４５】拡張ソフトウェア４０４ａでは、ａｃｃｅ
ｐｔｅｄメッセージを受けとると、イベントキュー４０
７ａ中のイベント全てをアプリケーションソフト４０１
ａへ送るとともにコンピュータ４０５ｂへ送る。逆にｄ
ｅｎｉｅｄメッセージを受けとると、イベントキュー４
０７ａ中のイベントを破棄する。拡張ソフトウェア４０
４ｂはイベントを受けとると、それらをアプリケーショ
ンソフト４０１ｂへ送り、フラグ４０８ｂを下ろす。コ
ンピュータ４０５ｂでイベントが発生した場合も同様で
ある。

【００４６】《実施の形態例５》本発明の第５の実施の
形態例を示す。本例では、アプリケーションソフトの状
態を同じに保つために、端末間でイベント列の整合を保
つ別の方法について、２地点接続の例で説明する。

【００４７】図８は、本実施の形態例における端末間で
イベント列の整合を保つ方法を説明するための図であっ
て、２地点に配置された２台のコンピュータ上で動作す
るプログラム間のメッセージの流れを示したものであ
る。

【００４８】図８において、２地点に配置された２台の
コンピュータをそれぞれ５０５ａ，５０５ｂとする。ま
た、５０１ａ，５０１ｂはそれぞれのアプリケーション
ソフト、５０２ａ，５０２ｂはそれぞれのウインドウシ
ステム、５０４ａ，５０４ｂはそれぞれの拡張ソフトウ
ェア、そして５０６は２台のコンピュータ５０５ａ，５
０５ｂを結ぶネットワークである。また、５０７ａは拡
張ソフトウェア５０４ａにおいてイベントを格納するイ
ベントキューで、ＦＩＦＯキューである。

【００４９】図９に、本実施の形態例における端末間で
イベント列の整合をとる例を、フローチャートで示す。
但し、図９中でサーバとは、本実施の形態例におけるイ
ベントキュー５０７ａを保持する端末を指す。

【００５０】まず、サーバのコンピュータ５０５ａで発
生したイベントは、ウインドウシステム５０２ａから、
拡張ソフトウェア５０４ａに送られ、イベントキュー５
０７ａ経由で、アプリケーションソフト５０１ａに送ら
れるとともに、ネットワーク５０６を介して、コンピュ
ータ５０５ｂに送られ、拡張ソフトウェア５０４ｂによ
って、アプリケーションソフト５０１ｂに送られる。

【００５１】一方、サーバでないコンピュータ５０５ｂ
で発生したイベントは、ウインドウシステム５０２ｂか
ら、拡張ソフトウェア５０４ｂに送られ、ネットワーク
５０６を介して、コンピュータ５０５ａに送られる。コ
ンピュータ５０５ａでは、受けとったイベントは、拡張
ソフトウェア５０４ａによって、イベントキュー５０７
ａ経由で、アプリケーションソフト５０１ａに送られる
とともに、ネットワーク５０６を介して、コンピュータ
５０５ｂに送られ、拡張ソフトウェア５０４ｂによっ
て、アプリケーションソフト５０１ｂに送られる。

【００５２】《実施の形態例６》本発明の第６の実施の
形態例を示す、本例では、アプリケーションソフトの状
態を同じに保つための入力権の移行方法について、２地
点接続の例で説明する。

【００５３】図１０は、本実施の形態例における入力権
の移行方法の例を説明するための図であって、２台のコ
ンピュータ上で動作するプログラム間のメッセージの流
れを示したものである。

【００５４】図１０において、２地点に配置された２台
のコンピュータをそれぞれ６０５ａ，６０５ｂとする。
また、６０１ａ，６０１ｂはそれぞれのアプリケーショ
ンソフト、６０２ａ，６０２ｂはそれぞれのウインドウ
システム、６０４ａ，６０４ｂはそれぞれの拡張ソフト
ウェア、そして６０６は２台のコンピュータ６０５ａ，
６０５ｂを結ぶネットワークである。また、６０７は入
力権を表すトークンである。

【００５５】図１１に、本例における入力権の移行方法
の例を、フローチャートで示す。

【００５６】今、入力トークンはコンピュータ６０５ａ
側にあり、コンピュータ６０５ａのユーザにのみ入力権
が与えられている。つまり、コンピュータ６０５ａで発
生したイベントは、拡張ソフトウェア６０４ａによって
アプリケーションソフト６０１ａに送られるとともに、
ネットワーク６０６を介して、拡張ソフトウェア６０４
ｂに送られる。拡張ソフトウェア６０４ｂでは、イベン
トを受けとると、イベントの変換を行ってアプリケーシ
ョンソフト６０１ｂへ送る。

【００５７】一方、コンピュータ６０５ｂで発生したイ
ベントは全て破棄される。唯一の例外は、入力権を要求
するイベントである。例えば、コンピュータ６０５ｂの
ユーザにより、入力権を要求する操作が行われた場合、
入力権の要求が拡張ソフトウェア６０４ｂより拡張ソフ
トウェア６０４ａに出される。拡張ソフトウェア６０４
ａでは、コンピュータ６０５ａのユーザに対し、入力権
の放棄（入力権を渡すか否か）を確認（図１１の９０
１）し、放棄が受け入れられれば、トークン６０７を拡
張ソフトウェア６０４ｂに転送して渡す。また、入力権
の放棄が否定された場合、なにもしない、もしくは、そ
の旨を拡張ソフトウェア６０４ｂへ返す。拡張ソフトウ
ェア６０４ｂでは、拡張ソフトウェア６０４ａからの応
答に従い、メッセージをユーザに返す。そして、トーク
ンを受け取ったならば、ウインドウシステム６０２ｂの
イベントを受け付け、トークンを受け取れなかったなら
ば、それまで通り、ウインドウシステム６０２ｂからの
イベントは破棄される。

【００５８】なお、本例は入力権の放棄の確認９０１に
おける入力権の放棄が否定されたとき、すなわちトーク
ンの要求が否定されたとき、特別なメッセージを返さな
い例であるが、この入力権の放棄の確認９０１で常にＹ
ｅｓを返し、要求がある場合には必ずトークンを渡す方
法もある。

【００５９】《実施の形態例７》本発明の第７の実施の
形態例を示す。本例では、別端末で起動されるアプリケ
ーションソフト間の対応付けの方法に関して、２地点接
続の例で説明する。

【００６０】図１２は、本実施の形態例における別端末
で起動されるアプリケーションソフト間の対応付けを説
明するための図であって、２地点に配置された２台のコ
ンピュータ上で動作するプログラム間のメッセージの流
れを示したものである。

【００６１】図１２において、２地点に配置された２台
のコンピュータをそれぞれ７０５ａ，７０５ｂとする。
また、７０１ａ，７０８ａ，７０９ａ、および７０１
ｂ，７０８ｂ，７０９ｂはそれぞれのアプリケーション
ソフトの実行体、７０２ａ，７０２ｂはそれぞれのウイ
ンドウシステム、７０４ａ，７０４ｂは拡張ソフトウェ
ア、そして７０６は２台のコンピュータ７０５ａ，７０
５ｂを結ぶネットワークである。また、７０７ａ，７０
７ｂはアプリケーションの実行体識別子を格納するため
のそれぞれのＩＤテーブルである。

【００６２】図１３に、別端末で起動されるアプリケー
ションソフト間の対応付ける本実施の形態例の方法をフ
ローチャートで示す。

【００６３】コンピュータ７０５ａのユーザがアプリケ
ーションソフトの共有起動操作を行うと、拡張ソフトウ
ェア７０４ａは自端末でアプリケーションを起動し、ア
プリケーションの実行体識別子をＩＤテーブル７０７ａ
に登録する。そして、拡張ソフトウェア７０４ｂに対し
て、登録したＩＤテーブル７０７ａのエントリナンバを
送り、同じアプリケーションの起動要請を行う。拡張ソ
フトウェア７０４ｂでは、アプリケーションの起動要請
を受け、アプリケーションを起動し、そのアプリケーシ
ョンの実行体識別子を、送られてきたエントリナンバに
従って、ＩＤテーブル７０７ｂに登録する。

【００６４】これにより、ＩＤテーブルの同じエントリ
ナンバにそれぞれ対応するアプリケーションの実行体識
別子が格納されていることになる。例えば、コンピュー
タ７０５ａでのイベント入力に対しては、拡張ソフトウ
ェア７０４ａがイベントをアプリケーションソフトへ渡
すとともに、各イベントに当該アプリケーションソフト
の実行体識別子を格納したエントリナンバを付加してコ
ンピュータ７０５ｂに転送することで、拡張ソフトウェ
ア７０４ｂでは送られたイベントを解析して、エントリ
ナンバに従いＩＤテーブル７０７ｂから実行体識別子を
取得することにより、対応するアプリケーションソフト
を判別してイベントを渡すことが可能になる。

【００６５】

【発明の効果】本発明は、ユーザ入力の共有により同じ
状態に保ったアプリケーションソフトの出力画面上に、
各ユーザの机上映像等のユーザの映像を透けて見えるよ
うに重畳することにより、コンピュータ上の既存の様々
なアプリケーションソフトで作成されたデータを共有し
ながら、指を用いたポインティングやハンドジェスチ
ャ、さらには手書きによるマーキング等、従来のマウス
やキーボードでは難しかった柔軟性に富んだ素早いイン
タラクションを可能にするといった利点がある。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態例を説明するための
装置構成例を示す図

【図２】上記第１の実施の形態例におけるユーザ入力の
共有の例を説明するためのフローチャート

【図３】本発明の第２の実施の形態例を示すユーザ入力
の共有の例を説明するための図

【図４】上記第２の実施の形態例におけるユーザ入力の
共有の例を説明するためのフローチャート

【図５】本発明の第３の実施の形態例を示すアプリケー
ションソフト連動制御方法による画面表示例を表す図

【図６】本発明の第４の実施の形態例を示す端末間でイ
ベント列の整合をとる例を説明するための図

【図７】上記第４の実施の形態例における端末間でイベ
ント列の整合をとる例を説明するためのフローチャート

【図８】本発明の第５の実施の形態例を示す端末間でイ
ベント列の整合をとる例を説明するための図

【図９】上記第５の実施の形態例における端末間でイベ
ント列の整合をとる例を説明するためのフローチャート

【図１０】本発明の第６の実施の形態例を示す入力権の
移行方法の例を説明するための図

【図１１】上記第６の実施の形態例における入力権の移
行方法の例を説明するためのフローチャート

【図１２】本発明の第７の実施の形態例を示すアプリケ
ーションソフトの対応付けの例を説明するための図

【図１３】上記第７の実施の形態例におけるアプリケー
ションソフトの対応付けの例を説明するためのフローチ
ャート

【符号の説明】

１０１ａ，１０１ｂ…カメラ １０２ａ，１０２ｂ…モニタ １０３ａ，１０３ｂ，２０５ａ，２０５ｂ，４０５ａ，
４０５ｂ，５０５ａ，５０５ｂ，６０５ａ，６０５ｂ，
７０５ａ，７０５ｂ…コンピュータ １０４ａ，１０４ｂ…画像処理装置 １０５ａ，１０５ｂ…画像通信装置 １０６ａ，１０６ｂ…１０１ａ〜１０５ａ及び１０１ｂ
〜１０５ｂで構成されるシステム １０７，２０６，４０６，５０６，６０６，７０６…ネ
ットワーク １０８ａ，１０８ｂ，２０１ａ，２０１ｂ，４０１ａ，
４０１ｂ，５０１ａ，５０１ｂ，６０１ａ，６０１ｂ…
アプリケーションソフト ２０２ａ，２０ｂ，４０２ａ，４０２ｂ，５０２ａ，５
０２ｂ，６０２ａ，６０２ｂ，７０２ａ，７０２ｂ…ウ
インドウシステム ２０３ａ，２０３ｂ…ハードウェア ２０４ａ，２０４ｂ，４０４ａ，４０４ｂ，５０４ａ，
５０４ｂ，６０４ａ，６０４ｂ，７０４ａ，７０４ｂ…
拡張ソフトウェア ３０１ａ，３０１ｂ…コンピュータの出力画面 ３０２ａ，３０２ｂ，３０６…アプリケーションソフト
の画面出力 ３０３ａ，３０３ｂ…机上映像 ３０４…３０３ａと３０３ｂの合成画像 ３０５ａ，３０５ｂ…モニタ画像 ４０７ａ，４０７ｂ，５０７ａ…イベントキュー ４０８ａ，４０８ｂ…フラグ ６０７…トークン ７０１ａ，７０１ｂ，７０８ａ，７０８ｂ，７０９ａ．
７０９ｂ…アプリケーションソフトの実行体 ７０７ａ，７０７ｂ…ＩＤテーブル ９０１…フローチャートにおける分岐（入力権の放棄の
確認）

Claims (3)

【特許請求の範囲】
1. 【請求項１】 通信回線を介して接続された複数のコン
   ピュータを利用した端末による画像通信システムにおい
   て、 各端末のデバイスドライバやウインドウシステムからア
   プリケーションソフトウェアへ送られるユーザ入力をア
   プリケーションソフトウェアに渡す前段で取得する行程
   と、 前記取得したユーザ入力を他の端末へ転送する行程と、 他端末より転送されてきたユーザ入力を受けとる行程
   と、 前記受けとったユーザ入力を自端末で発生したユーザ入
   力のように変換する行程と、 自端末で発生したユーザ入力と前記他端末より転送され
   てきたユーザ入力を全ての端末において同一の順番でア
   プリケーションソフトウェアへ転送するように整合をと
   る行程と、 前記整合のとられたユーザ入力を対応するアプリケーシ
   ョンソフトウェアへ転送する行程と、を有するアプリケ
   ーションソフトウェア連動制御方法であって、各端末で
   ユーザの映像を撮影する行程と、 前記撮影した映像を他端末へ転送する行程と、 他端末より転送されてきた映像を受けとる行程と、 前記受けとった映像と自端末で撮影した映像をそれぞれ
   の映像が透けて見えるように合成する行程と、 前記合成した映像をアプリケーションソフトウェアの出
   力画面上に合成表示する行程と、 を有することを特徴とするアプリケーションソフトウェ
   ア連動制御方法。
2. 【請求項２】 自端末で発生したユーザ入力と他端末よ
   り転送されてきたユーザ入力を全ての端末において、同
   一の順番でアプリケーションソフトウェアへ転送するよ
   うに整合をとる行程と、 前記整合のとられたユーザ入力を対応するアプリケーシ
   ョンソフトウェアへ転送する行程と、に代えて、 明示的な入力権の授受を端末間で行う行程と、 前記入力権を有している場合にのみ、ユーザ入力を他端
   末に転送し、各端末において該ユーザ入力をアプリケー
   ションソフトウェアに転送する行程と、 を有することを特徴とする請求項１に記載のアプリケー
   ションソフトウェア連動制御方法。
3. 【請求項３】 始めに、各端末で同じ条件で起動した同
   じアプリケーションソフトウェアを対応付ける行程を有
   することを特徴とする請求項１または請求項２に記載の
   アプリケーションソフトウェア連動制御方法。