JP3658830B2 - 連携表示システムおよび該連携表示システムを用いた遠隔診療支援システム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、通信手段を介して接続された複数の端末間で同じ情報を表示するとともに、必要に応じて表示内容を変更しながら共同作業を行う連携表示システムおよび該連携表示システムを用いた遠隔診療支援システムに関する。
【０００２】
【従来の技術】
複数のコンピュータをネットワークで接続して、各コンピュータで互いに同一の画像を表示するとともに、表示画像に手書き描画の追加や、位置を指し示すポインタ表示のポインタ位置の変更など、表示内容を変更する処理を行いながら共同作業を行う連携表示システムが従来から知られている。
その場合に、ある端末で入力された、手書き描画やポインタの表示、画像の拡大縮小などの表示内容を変更する処理を自端末と連携する他の端末の表示画面上に表示する方法には、以下のような方法がある。
【０００３】
（１）ある端末で操作者より入力された処理を自端末で実行して表示し、その後、「処理のデータ」を連携する他の端末に伝送して、連携する他の端末で表示する方法。この場合、伝送する「処理のデータ」としては入力された処理要求そのままのデータと入力された処理要求に基づいて処理した結果得られた画面情報データの２種類がある。
（２）ある端末で操作者によって入力されたデータをそのまま連携する他の端末に伝送し、連携する端末間で上記伝送の完了を確認してから、それぞれの端末で処理を実行し、その処理結果をそれぞれの端末に表示する方法。さらに、例えば手書き描画のように処理が連続して入力される場合には、以下のような方法もある。
（３）操作者からの入力に従って逐次自端末に処理結果を表示し、全ての入力と表示が終了してから、実行した処理のデータを連携する他の端末に一括して伝送し、該他の端末に表示する方法。
【０００４】
【発明が解決しようとする課題】
従来技術においては、
上記（１）のように、操作者によって入力された表示内容を変更する処理要求を実行して自端末に表示した後、「処理のデータ」を他の端末に伝送して表示する構成を用いた場合、連携する他の端末では伝送の遅れによって表示が遅れ、端末間の表示の同期が困難となる。従って、各端末の操作者の間において誤認が発生するという問題があった。
また、上記（２）のように、操作者によって入力されたデータをそのまま連携する他の端末に伝送し、その伝送が完了した後、各端末で処理を実行して表示を行う構成を用いた場合、伝送に要する時間が大きいことから、入力に対して表示に遅れが生じ、操作の応答が低下するという問題があった。
また、上記（３）のように、操作者による連続入力に対してその結果を逐次表示し、入力と表示の終了後に相手端末に全データをまとめて伝送して表示する構成を用いた場合、端末間で表示に大きな時間差が生じ、端末間の表示の同期が困難となる。従って、この場合も各端末の操作者の間において誤認が発生する問題があった。
【０００５】
本発明の目的は、上述した従来の問題点を解決し、操作者の入力に対して応答性が高く、かつ、端末間で同期して表示可能な連携表示システムおよび該連携表示システムを用いた遠隔診療支援システムを提供することにある。本発明の他の目的は、操作者の入力によるデータの発生間隔に対してそのデータの伝送時間が長い場合に、連続して入力した場合であっても端末間の表示を同期させることができるとともに、表示の応答性を高くすることができる連携表示システムおよび該連携表示システムを用いた遠隔診療支援システムを提供することにある。
【０００６】
【課題を解決するための手段】
上記目的を達成するために、本発明の連携表示システムは、通信手段を介して接続された複数の端末間で同じ情報を表示するとともに、一つの端末のデータを該一つの端末とは異なる１以上の他の端末に伝送し、前記一つの端末および前記１以上の他の端末に前記データを表示して共同作業を行う連携表示システムであって、前記端末（１，３−１〜３−ｎ）の各々は、操作者による入力をもとに表示内容の変更を指示する処理データを作成する入力手段（４）と、前記処理データを蓄積するバッファ（８）と、入力手段（４）から新たに入力された処理データとバッファ（８）内に蓄積されている処理データの種類と量から選択される方法に従い、処理データを編集する編集手段（７）と、編集された処理データを他の端末に送出する送出手段（９）と、他の端末からの処理データを受信する受信手段（１０）と、送出手段（９）と受信手段（１０）による前記一つの端末と他の端末間での処理データの伝送が完了したことを確認する伝送確認手段（１１）と、伝送確認手段（１１）により伝送完了が確認された処理データに従って表示内容の変更を行う表示手段（６）を具備することを特徴としている。
【０００７】
また、編集手段（７）は、入力手段（４）とバッファ（８）内に入力および蓄積された処理データが複数ある場合に、伝送する処理データを少なくとも一つ選択する編集を行うことを特徴としている。
さらに、編集手段（７）は、入力手段（４）とバッファ（８）内に入力および蓄積された処理データが複数ある場合に、伝送する処理データを少なくとも二つ選択し、伝送１回分として選択した処理データをまとめる編集を行うことを特徴としている。
また、表示内容の変更を指示する処理データは、拡大／縮小指示データ，手書き描画データ，ポインタの表示データ，回転／反転指示データ，階調指示データ，画素値を表示する場合の画素位置データ，２点間の距離を表示する場合の位置データ，消しゴム機能用データのいずれか１つを含むことを特徴としている。
【０００８】
【発明の実施の形態】
本発明は、上記手段を具備し、編集手段（７）で、入力手段（４）から入力された入力データとバッファ（８）内に格納されているデータの種類と量に基づいて適切な伝送データ編集方法を選んで編集する。例えば、入力データが手書き描画の場合はバッファ（８）内の複数データを伝送１回分としてまとめ、入力データがポインタ表示の場合はバッファ（８）内の複数データのうち古いデータを削除し最新のデータのみを残す。このような編集を行った後のデータを送出手段（９）で他の端末へ送出する。伝送確認手段（１１）で伝送先端末からの伝送完了信号を確認した後、各端末の表示手段（６）に表示する。本構成によると、伝送回数削減によるデータ伝送時間の減少とデータ伝送確認後の表示によって、操作者の入力に対する表示の応答性の向上と端末間における表示の同期が可能になる。
【０００９】
次に、本発明の連携表示システムの構成および動作の一実施例を図面を用いて詳細に説明する。
図１は、本発明の実施例の連携表示システムの基本構成を示す図である。同図中、１は入力と表示が可能な端末で、例えば、マウスやキーボードなどの入力装置からなる入力手段４とディスプレイなどの表示装置からなる表示手段６を持つコンピュータから構成されている。この端末１は通信手段２を用いて他の端末３−１〜３−ｎと接続されている。通信手段２としてはコンピュータのネットワークや電話回線、ＩＳＤＮ回線などが使用される。本連携表示システムは、ある任意の端末のデータ（処理前のデータでも処理後のデータでもよい）が通信手段２を介して他の任意の１以上の端末に伝送され、必要に応じてそれらの端末の表示手段に同時に表示することが可能なシステムである。
【００１０】
さらに詳細に述べると、入力手段４では、操作者によるマウスやキーボードなどの入力装置からの入力を元にして表示内容の変更を指示する処理データを作成し、そのデータを連携制御手段５に送る。
連携制御手段５は他の端末との間でデータを送受信するとともに、ここで送受信完了が確認されたデータを表示手段６ではディスプレイなどの表示装置に表示させる。
連携制御手段５は、入力手段４から入力されて他端末への送出を待つデータを蓄積するバッファ８と、新たに入力手段４から入力されたデータとバッファ８内に蓄積されているデータの種類とそのデータの量に基づいて送信のためにデータを編集する編集手段７と、編集されたデータを他の端末へ送出する送出手段９と、他の端末から送信されてきたデータを受信する受信手段１０と、送出手段９と受信手段１０によるデータの送受信が完了したことを確認する伝送確認手段１１から構成されている。
【００１１】
伝送確認手段１１はデータの送受信が完了したことを確認するものであり、例えば、データを受信した端末の伝送確認手段はデータの受信完了を通知するための小データ（受信確認信号）を送出元の端末へ送信し、逆に、データを送出した端末の伝送確認手段はデータ送出先の端末から返送される前記小データ（受信確認信号）の通知を受けることによってデータの受信が完了したことを確認する。伝送確認手段１１で伝送時間の短い小データ（受信確認信号）を送受信することで端末間のデータの伝送完了を確認し、その後表示手段６で表示するため、端末間の表示を同期させることができる。また、編集手段７で伝送するデータを編集することによって、伝送するデータの量や伝送回数を制御できる。
【００１２】
図２は、本実施例の連携表示システムを構成する端末の処理のフローチャート例である。ここでは、共同作業の為の表示内容を変更する処理の内容としては、手書き描画、ポインタの表示、画像の拡大／縮小の３種類だけを考え、また、簡単のために、端末１と端末３−１の２つの端末間で連携する場合を例にして説明する（２つ以上の端末間で連携する場合に適用できることはいうまでもない）。
【００１３】
まず、端末１では、入力手段４からの入力データの有無を調べる（ステップ２１）。入力データがある場合には、編集手段７およびバッファ８中で、データの編集を行う（ステップ２２：詳細は図３で説明する）。そして、通信手段２や他の端末３−１に対して、データ送出の可否を確認する（ステップ２３）。送出が可能な場合は、送出手段９において、通信手段２を介して端末３−１にデータを送出する（ステップ２４）。端末３−１からの小データ（受信確認信号）を受信することにより端末３−１へのデータの伝送が完了したことを伝送確認手段１１で確認し（ステップ２５）、表示手段６において、伝送データにより手書き描画処理、ポインタの表示処理、画像の拡大処理のいずれかを実行し、表示する（ステップ２６）。そして、次のデータの入力を待つため、再び、ステップ２１に戻る。
【００１４】
また、ステップ２１において、入力手段４からの入力データが存在しなかった場合には、他の端末３−１からの受信すべきデータが存在するかを確認する（ステップ２７）。受信すべきデータが存在しない場合には、再び、データの入力を待つため、ステップ２１に戻る。また、ステップ２３において、データの送出が不可能と判断された場合にも、次の入力を待つため、ステップ２１へ戻る。
【００１５】
一方、端末１からのデータを受信する端末３−１では、ステップ２１では入力データ無し、ステップ２７では受信データがあると判断される。そこで、受信手段１０によってデータを受信し（ステップ２８）、伝送確認手段１１によって端末１と端末３−１の間での伝送の完了を小データにより確認する（ステップ２５）。データの伝送完了が確認後、端末３−１でも表示手段６により、受信データによって、手書き描画処理、ポインタの表示処理、画像の拡大処理のいずれかを実行し、表示した後（ステップ２６）、ステップ２１に戻り、再び、次の入力データを待つ。
【００１６】
図３は、図２のデータ編集ステップ２２で行われる編集方法の詳細なフローチャート例である。ここでは、バッファ８と編集手段７においてデータの編集を行う。バッファ８では編集手段７によって登録された順番により、データを送出手段に送る。
まず、ステップ３１において、バッファ８内のデータと入力されたデータを比較する。バッファ８内にデータが存在しない場合は、入力データを送出データとしてバッファ８に登録する（ステップ３２）。バッファ８内にデータが存在し、バッファ８内のデータと入力されたデータを比較した結果、バッファ８内のデータと入力データの処理内容が異なる場合は（ステップ３１：NO）、該入力データをバッファ８内に格納されているデータの次に送出するデータとしてバッファ８に登録する（ステップ３２）。
【００１７】
ステップ３１において、バッファ８内にデータが存在し、バッファ８内のデータと入力されたデータを比較した結果、バッファ８内のデータと入力データが同一の処理内容であることが確認された場合には（ステップ３１：YES）、その入力されたデータの処理内容を調べ、その処理内容が手書き描画、ポインタ、拡大／縮小のいずれであるかを判定する（ステップ３３）。
入力されたデータが手書き描画の座標であった場合にはバッファ８内のデータと入力データを１回で伝送するように合成し（ステップ３４）、編集ステップ２２を終了する。
また、ステップ３３において、入力されたデータがポインタの座標であった場合には、バッファ８内に格納されている以前の座標データを削除し、新たに、今回入力されたデータをバッファ８に登録し（ステップ３５）、データ編集ステップ２２を終了する。
入力データが拡大／縮小を指示するデータであった場合には、そのデータをバッファ８に登録し（ステップ３２）、編集ステップ２２を終了する。
【００１８】
次に、データ編集ステップ２２でのデータの流れを具体的に説明する。ここでは、通信手段２の伝送速度の影響により、データの発生間隔より、他の端末への送出の間隔を大きくしなければならない場合を考える。通信手段２の伝送速度が大きく、データの発生間隔より他の端末への送出の間隔が小さくてよい場合は編集することなくデータが発生する毎にそのデータを他の端末へ送出することができる。
【００１９】
（Ａ）入力データが手書き描画の場合
図４は、操作者が手書き描画を選択し、マウスのドラッグにより連続して描画入力を行った場合のデータの流れの一例を示す図である。ここで説明する例は、図３中において、ステップ３１−ステップ３３−ステップ３４と進む流れ（入力されたデータが自由曲線の場合）である。
入力手段４では、操作者の入力により、データが入力時間間隔４１で発生し、一方、送出手段９では、送出時間間隔４２でデータを他の端末に向けて送出するものとし、入力時間間隔４１が送出時間間隔４２より短い場合を考える。
【００２０】
（ａ）入力手段４で発生した最初のデータdata-1は、編集手段７において、最初のデータであるので（バッファ８にデータが存在しない）、バッファ８に登録される（図２のステップ２２，すなわち図３のステップ３１，３２）。そして、このとき送出可（図２のステップ２３；YES）であるので、送出手段９から他の端末３−１に向けて送出される（図２のステップ２４）。伝送確認手段１１で伝送完了を確認した後、表示される（ステップ２５，２６）。バッファ８内では送出したデータは削除される。
【００２１】
（ｂ）次に、時間間隔４１後にdata-2が発生すると（図２のステップ２１；YES）、編集手段７ではバッファ８の中を調べる。この時点では、バッファ８にはデータが存在しないので（data-1は伝送後に削除されている）、data-1のときと同様にバッファ８に登録される（図３のステップ３１，３２）。次に、図２のステップ２３で送出可か否かが判定される。今の場合、送出手段９では、送出時間間隔４２が経っていないので送出不可と判定され（ステップ２３；NO）、バッファ８にdata-2を登録したままステップ２１に戻る。
【００２２】
（ｃ）次に、時間間隔４１後にdata-3が発生すると（図２のステップ２１；YES）、編集手段７ではバッファ８の中を調べる。そして、バッファ８内に以前のデータであるdata-2が存在し、バッファ８内のデータdata-2と入力データdata-3が同一処理であることが分かると（ステップ３１；YES）、その種類を判定し（ステップ３３）、共に手書き描画（自由曲線）であるためバッファ内のデータdata-2と入力データdata-3を送出１回分のデータとして合成編集した後、バッファ８に登録する（ステップ３４）。ここでもまだ送出時間間隔４２が経っておらず送出不可であるため（図２のステップ２３；NO）、data-2とdata-3の合成データをバッファ８内に残したまま再びステップ２１に戻る。
【００２３】
（ｄ）さらに、時間間隔４１後にdata-4が発生すると（図２のステップ２１；YES）、編集手段７ではバッファ８の中を調べる。そして、バッファ８内に以前のデータであるdata-2とdata-3が存在し、バッファ８内のデータdata-2，data-3と入力データdata-4が同一処理であることが分かると（ステップ３１；YES）、その種類を判定し（ステップ３３）、共に手書き描画（自由曲線）であるためバッファ内のデータdata-2，data-3と入力データdata-4を送出１回分のデータとして合成編集した後、バッファ８に登録する（ステップ３４）。この時点では送出時間間隔４２が経過しており送出可であるため（図２のステップ２３；YES）、バッファ８に格納されたdata-2，data-3とdata-4の合成データを送出手段９によって他の端末３−１へ送出する（ステップ２４）。伝送確認手段１１で伝送完了を確認した後、表示手段６に表示される（ステップ２５，２６）。バッファ８内では送出したデータは全て削除される。
【００２４】
（Ｂ）入力データがポインタの表示指示の場合
図５は、操作者がポインタの表示を選択し、マウスのドラッグにより連続してポインタの入力を行った場合のデータの流れの一例を示す図である。ここで説明する例は、図３中において、ステップ３１−ステップ３３−ステップ３５と進む流れ（入力されたデータがポインタの場合）である。
入力手段４では、操作者の入力により、データが入力時間間隔５１で発生し、一方、送出手段９では、送出時間間隔５２でデータを他の端末に向けて送出するものとし、入力時間間隔５１が送出時間間隔５２より短い場合を考える。
【００２５】
（ａ）入力手段４で発生した最初のデータdata-1は、編集手段７において、最初のデータであるので（バッファ８にデータが存在しない）、バッファ８に登録される（図２のステップ２２，すなわち図３のステップ３１，３２）。そして、このとき送出可（図２のステップ２３；YES）であるので、送出手段９から他の端末３−１に向けて送出される（図２のステップ２４）。伝送完了を確認した後、表示手段６に表示される（ステップ２５，２６）。バッファ８内では送出したデータは削除される。
【００２６】
（ｂ）次に、時間間隔５１後にdata-2が発生すると（図２のステップ２１；YES）、編集手段７ではバッファ８の中を調べる。この時点では、バッファ８にはデータが存在しないので（data-1は伝送後に削除されている）、data-1のときと同様にバッファ８に登録される（図３のステップ３１，３２）。次に、図２のステップ２３で送出可か否かが判定される。今の場合、送出手段９では、送出時間間隔５２が経っていないので送出不可と判定され（ステップ２３；NO）、バッファ８にdata-2を登録したままステップ２１に戻る。
【００２７】
（ｃ）次に、時間間隔５１後にdata-3が発生すると（図２のステップ２１；YES）、編集手段７ではバッファ８の中を調べる。この時点では、バッファ８にはデータがdata-2が存在するので、バッファ８内のデータdata-2と入力データdata-3を調べそれらが同一処理であることが分かると（ステップ３１；YES）、その種類を判定し（ステップ３３）、共にポインタ表示であるためバッファ内のデータdata-2を削除し新たに入力データdata-3をバッファ８に登録する（ステップ３５）。ここでもまだ送出時間間隔５２が経っておらず送出不可であるため（図２のステップ２３；NO）、data-3をバッファ８内に残したまま再びステップ２１に戻る。
【００２８】
（ｄ）さらに、時間間隔５１後にdata-4が発生すると（図２のステップ２１；YES）、編集手段７ではバッファ８の中を調べる。この時点では、バッファ８にはデータがdata-3が存在するので、バッファ８内のデータdata-3と入力データdata-4を調べそれらが同一処理であることが分かると（ステップ３１；YES）、その種類を判定し（ステップ３３）、共にポインタ表示であるためバッファ内のデータdata-3を削除し新たに入力データdata-4をバッファ８に登録する（ステップ３５）。次に、図２のステップ２３で送出可か否かが判定される。今の場合、送出時間間隔５２が経過しているので送出可と判定され（ステップ２３；YES）、送出手段９は、バッファ８に登録されているdata-4を他の端末３−１に送出する（ステップ２４）。伝送完了を確認した後、表示手段６に表示する（ステップ２５，２６）。バッファ８内では送出したデータdata-4を削除する。
【００２９】
（Ｃ）入力データが拡大・縮小指示データの場合
表示手段に表示している図形を拡大・縮小する場合には、操作者が入力手段４から図形の拡大または縮小を選択入力（拡大率／縮小率を含む）する。ここで説明する例は、図３中において、ステップ３１−ステップ３３−ステップ３２に進む流れである。
【００３０】
（ａ）入力手段４で発生した最初のデータ（data-1）は、編集手段７において、最初のデータであるので（バッファ８にデータが存在しない）、バッファ８に登録される（図２のステップ２２，すなわち図３のステップ３１，３２）。そして、このとき送出可（図２のステップ２３；YES）であるので、送出手段９から他の端末３−１に向けて送出される（図２のステップ２４）。伝送完了を確認した後、表示手段６に表示される（ステップ２５，２６）。バッファ８内では送出したデータ（data-1）は削除される。
【００３１】
（ｂ）次の入力時間間隔にdata-2が発生すると（図２のステップ２１；YES）、編集手段７ではバッファ８の中を調べる。この時点では、バッファ８にはデータが存在しないので（data-1は伝送後に削除されている）、data-1のときと同様にバッファ８に登録される（図３のステップ３１，３２）。次に、図２のステップ２３で送出可か否かが判定される。今の場合、送出手段９では、送出時間間隔が経っていないので送出不可と判定され（ステップ２３；NO）、バッファ８にdata-2を登録したままステップ２１に戻る。
【００３２】
（ｃ）次の入力時間間隔にdata-3が発生すると（図２のステップ２１；YES）、編集手段７ではバッファ８の中を調べる。そして、バッファ８内に以前のデータであるdata-2が存在し、バッファ８内のデータdata-2と入力データdata-3が同一処理であることが分かると（ステップ３１；YES）、その種類を判定し（ステップ３３）、共に拡大・縮小指示データであるためdata-3もバッファ８に登録する（ステップ３４）。ここでもまだ送出時間間隔が経っておらず送出不可であるため（図２のステップ２３；NO）、data-2とdata-3をバッファ８内に残したまま再びステップ２１に戻る。
【００３３】
（ｄ）さらに、入力時間間隔後にdata-4が発生すると（図２のステップ２１；YES）、編集手段７ではバッファ８の中を調べる。そして、バッファ８内に以前のデータであるdata-2とdata-3が存在し、バッファ８内のデータdata-2，data-3と入力データdata-4が同一処理であることが分かると（ステップ３１；YES）、その種類を判定し（ステップ３３）、共に拡大・縮小指示データであるためdata-4もバッファ８に登録する（ステップ３４）。この時点では送出時間間隔４２が経過しており送出可であるため（図２のステップ２３；YES）、バッファ８に格納されたdata-2，data-3，data-4を順次送出手段９によって他の端末３−１へ送出する（ステップ２４）。伝送確認手段１１で伝送完了を確認した後、表示手段６に表示される（ステップ２５，２６）。バッファ８内では送出したデータは全て削除される。
【００３４】
以上は、（Ａ）の手書き描画、（Ｂ）のポインタ表示の場合と同様に、入力時間間隔が送出時間間隔より短い極端な場合を例にとって説明したが、通常、拡大・縮小指示の入力時間間隔はかなり長いので、バッファ８に複数のデータ（data-2，data-3・・・）が格納されることはなく、入力されたデータは入力順に滞留することなく送出される。もし、入力時間間隔が送出時間間隔より短い場合には、複数のデータ（data-2、data-3など）がバッファ８に滞留することがあるが、このときは、その事情（どのような画像を表示しているか、また拡大・縮小が何のために行われるかなど）にあわせて最新の入力データ（拡大・縮小指示）を送出したり、適当に間引いて送出したりすることができる。
【００３５】
次に、上記実施例における表示手段６の表示例を示す。
図６は、手書き描画処理を実行した場合の入力と画面の遷移について示した図である。本例は、端末Ａの表示画面６０で、ペン型のカーソル（以下ペンという）６１を、マウスのクリック、ドラッグ操作により移動させた軌跡によって線を表示させるものであり、図４のデータの流れに対応させたものである。
まず、マウスをクリックし、座標点６２の情報data-1を発生させる。このdata-1を端末Ｂに伝送し、伝送完了の確認の後、軌跡の始点（６５）をそれぞれの端末に表示する（表示画面６３，６４参照）。その後、送出時間間隔が経過すると、次のデータの送出が可能となるが、このときには、端末Ａでは、マウスのドラッグ操作によりペンが移動して新しい座標の情報data-2、data-3，data-4が発生している（表示画面６３参照）。このdata-2からdata-4を編集により伝送１回分として合成してから送出手段９により端末Ｂに送出し、伝送確認手段１１により伝送完了の確認の後、座標間を結ぶ線をそれぞれの端末に表示する（表示画面６６，６７参照）。
【００３６】
さらに、送出時間間隔を経過すると、端末Ａでは、さらにペンが移動して座標の情報data-5，data-6，data-7が発生している（表示画面６６参照）。このdata-5からdata-7を再び伝送１回分としてまとめ、送出手段９により端末Ｂに伝送する。そして、伝送確認手段１１により伝送完了の確認の後、座標間を結ぶ線をそれぞれの端末に表示する（表示画面６８，６９参照）。本実施例では以上の手順を繰り返して画面上に自由曲線を描く。
【００３７】
図７は、ポインタ表示処理を実行した場合の入力と画面の遷移について示すものであり、図５のデータの流れに対応させたものである。
本ポインタは、マウスのクリック、ドラッグ操作により表示画面中の位置を指し示すのに用いるものである。端末Ａの表示画面７０においてマウスをクリックすることによって、マウスカーソル７１が示す位置の座標点７２の情報data-1が発生する。そして、data-1を伝送して伝送完了の確認の後、それぞれの端末にポインタ７５を表示する（表示画面７３，７４参照）。このとき、端末Ａではマウスのドラッグ操作によりマウスカーソルが移動して、新たな座標の情報data-2，data-3，data-4が入力されている（表示画面７３参照）。
【００３８】
図５で説明した実施例では、送出手段９は最新の座標点のdata-4だけを伝送し、伝送確認手段１１により伝送完了の確認の後、それぞれの端末はdata-4の位置にポインタを表示する（表示画面７６，７７参照）。送出時間間隔後、端末Ａでは、マウスのドラッグ操作によりマウスカーソルが移動し、新たな座標点data-5，data-6，data-7が入力されている（表示画面７６参照）。このうち、伝送する情報を最新のdata-7だけにして伝送し、伝送確認手段１１により伝送完了の確認を行った後、端末ＡおよびＢに表示する（表示画面７８，７９参照）。本実施例では以上の手順を繰り返してポインタの移動表示を行う。
【００３９】
本発明の連携表示システムでは、伝送時間の短い小データ（受信確認信号）により伝送の完了を確認してから表示を行うため、端末間の表示を同期させることができることに加え、伝送するデータを編集することによって、伝送回数、伝送するデータ量を削減し、入力に対する表示の応答性を高めることができる。特に、低速な伝送手段を用いた場合において、応答性を著しく高めることができる。
【００４０】
さらに、伝送するデータの編集方法を処理内容に基づいて選択することで、伝送回数、データ量を削減しながらも端末操作者間の意志疎通に必要な情報は伝えることができる。例えば、手書き描画を行う場合は、操作者が移動させた座標の情報を全て表示することによって、なめらかな曲線を描くことができる。また、ポインタを表示する場合には、座標の移動の途中過程を除き、伝送時点での最新の座標だけを伝送することによって、操作に対する追従性を高めることができる。
【００４１】
上記実施例では、手書き描画処理が入力された場合、伝送の間に入力されたデータを全て合成しているが、入力されたデータ量により、いくつかのデータを選択して合成するようにしてもよい。すなわち、入力されたデータ量が非常に多い場合、いくつかのデータを選択して合成（例えば、一つ置き，二つ置きにデータを間引きして合成）するようにする。このようにすることによって、データ量が多いことに起因して生じる伝送時間の増大化を防止することができ、データの選択の仕方によって入力から表示までの応答時間を適切な値に調整することができる。
また、ポインタ表示処理が入力された場合、最新のデータを選択し伝送しているが、複数のデータの中から最も特徴的なデータを選択する編集を行い、伝送するようにしてもよい。
【００４２】
なお、上記実施例では、手書き描画処理が入力された場合、図４に示す通り、バッファ８への登録時にデータを編集して前回データとの合成を行っているが、図８のように、入力データをそのまま直接バッファに蓄積し、伝送時に編集を行って合成するようにしてもよい。
また、上記実施例では、ポインタを表示する処理を実行する場合にも、図５のように、バッファ８登録前に前回データを削除するようにしているが、図９のように、入力データをそのまま直接バッファに蓄積し、データの伝送時に伝送するデータ（最新のデータ）を選択し、他のデータ（古いデータ）を削除するようにしてもよい。
また、上記実施例では、２台の端末間で連携した場合を説明したが、３台以上の端末を相互に接続し、多地点間の連携を行ってもよい。
【００４３】
次に、本発明を医療分野に応用し、離れた場所にいる複数の医師が同一の画像を参照しながら協力して診療をする遠隔診療支援システムとして利用した例を、図を用いて詳細に説明する。
図１０は遠隔診療支援システムの構成の一例を示す図であり、専門病院８０と診療所８１にそれぞれ端末Ａおよび端末Ｂを設置し、専門病院８０の専門医と診療所８１の主治医の間でこれらの端末で連携して診療を行う場合を示す図である。
【００４４】
専門病院８０における端末Ａは、処理装置としてのパーソナルコンピュータ（８２−１）、表示装置としてのディスプレイ（８３−１）、入力装置としてのキーボード（８４−１）およびマウス（８５−１）を具備している。また、診療所８１の端末Ｂは、処理装置としてのパーソナルコンピュータ（８２−２）、表示装置としてのディスプレイ（８３−２）、入力装置としてのキーボード（８４−２）およびマウス（８５−２）を具備している。そして、パーソナルコンピュータ（８２−１）とパーソナルコンピュータ（８２−２）の間を通信手段２で接続する。通信手段２としては、例えば、ＩＳＤＮ回線が用いられる。端末Ａと端末Ｂの間では、ディスプレイ（８３−１）と端末Ｂのディスプレイ（８３−２）に同一の画像を表示して、それぞれの電話（８６−１）と電話（８６−２）によって相互に対話を行って入力装置で必要な入力を行いながら画面を操作して診療を行う。
【００４５】
次に、図１０の遠隔診療支援システムの動作手順を説明する。ここでは、専門病院８０で検査を受けた患者に対し、診療所８１でその後の治療を行うため、検査結果を専門病８０から診療所８１に伝える場合を考える。
まず、専門病院８０の検査装置８７で撮影した画像を、通信手段２を介したオンライン伝送、もしくは、光磁気ディスク８８などのオフライン媒体の搬送により、診療所８１へ送る。
【００４６】
次に、専門病院８０の端末Ａから、表示する画像を指示し当該画像を特定するための情報（画像ファイルナンバ等）は、図２，図３に示した手順に従って診療所８１の端末Ｂに伝送される。通常、画像ファイルナンバ等の画像を特定するための情報は、短かい時間間隔で連続して行われることはないため、端末Ａの処理中、図２のデータ編集ステップ２２では、図３のステップ３１−ステップ３２の流れで処理が行われる。ステップ３２では、バッファ内のデータには編集を行わないで、画像を特定するための情報（画像ファイルナンバ等）をそのまま端末Ｂに送出する。
【００４７】
診療所８１の端末Ｂでは、画像を特定するための情報（画像ファイルナンバ等）の受信を完了したら、その旨を示す小データ（受信確認信号）を専門病院８０の端末Ａへ返送する。専門病院８０の端末Ａの伝送完了確認ステップ（図２のステップ２５）では、診療所の端末Ｂからの受信完了の確認のための小データ（受信完了信号）を受信する。この伝送完了確認ステップ（図２のステップ２５）により、互いに実行する処理の内容を確認し、専門病院８０の端末Ａのディスプレイ（８３−１）と診療所８１の端末Ｂのディスプレイ（８３−２）に、それぞれ画像（８９−１）と画像（８９−２）を同期して表示する（図２のステップ２６）。
【００４８】
次に、専門病院８０の専門医は、表示された画像中の病変部を指し示すため、双方の端末のディスプレイ上の同一画像位置にポインタを表示させるポインタ機能を選択する。
専門病院８０の専門医は画像（８９−１）上でポインタ７５を、マウス（８５−１）のクリック、ドラッグにより操作する。このとき、マウス（８５−１）が座標情報を発生する間隔をＴ１、通信手段２がデータを送信する間隔をＴ２として、Ｔ２＞Ｔ１であったとすると、座標データの発生にデータ伝送が追従できない状態となる。そこで、本願発明では、伝送するデータの編集を行うことで応答の低下を解消する。ポインタ７５を表示する場合、図５に示したように、バッファ８に常に最新の情報のみを登録して伝送する方法を用いる。これにより、両方の端末で応答よくポインタ７５を表示することができる。従って、専門病院８０の専門医は、マウス（８５−１）のクリック、ドラッグ操作により、ポインタ７５をなめらかに操作しながら病変部を指し示して説明を行うことができ、診療所８２の主治医は、違和感なくその説明を受けることができる。
【００４９】
次に、診療所の主治医から、専門医が指し示した病変の大きさについて質問があったとする。その場合、専門病院８０の専門医はその病変部の周囲を線で囲んで示すため、マウスの軌跡に線を描画する手書き描画（自由曲線）の機能を選択する。
手書き描画９０も、ポインタ７５と同様にマウス（８５−１）のクリック、ドラッグにより操作されるので、データの編集を行い応答を向上させる。手書き描画９０の場合には、図４に示した方法と同様に、送出のタイミングにない入力データ（座標データ）をバッファ内のデータと合成編集してバッファ内に登録しておき、次の送出のタイミングでは、複数の座標データをまとめて伝送する方法を用いる。複数の座標情報をまとめて伝送することによって、応答よく全ての座標点を表示してなめらかな線を描くことが可能になる。従って、専門病院８０の専門医は、マウス（８５−１）のクリック、ドラッグ操作により、病変の周囲を囲む手書き描画９０の線をなめらかに描き、その病変について説明を行うことができ、診療所８２の主治医は、違和感なくその説明を受けることができる。
【００５０】
また逆に、必要に応じて、診療所８１の主治医から専門病院８０の専門医に対して同様な画面操作を行うことができる。以上のようにして、専門病院８０の専門医と診療所８１の主治医との間で相互に画面操作を繰り返し連携してきめ細やかな診療を行うことが可能である。
【００５１】
上述したように、本発明では、医師が指示した画像を表示する際、伝送完了確認ステップによるハンドシェイクを行うようにしている。従って、表示された画像が不一致となることを防止できる。また、伝送完了確認ステップを用いることで、表示の開始のタイミングの同期をとるようにしている。従って、専門病院８０と診療所８１の端末の間で、表示に時間のずれが生じるのを防止できるようになり、端末間の表示内容が一致するので、診療過誤を防止することができる。また、データの種類やバッファ内のデータ量から、データ編集の方法を選択するようにしたことで、機能にあった最適な伝送を行うことができるようになる。特に、マウス（８５−１，２）を用いて連続操作する場合など、高い応答性が求められるものには、編集により最新のデータのみを送出するなどして応答性を高めることができる。
【００５２】
さらに、上記実施例で示したように、本発明を用いることで、各機能が端末間で同期して表示されることを保証しながら応答性を高めることができ、また、診療過誤を防止する高い信頼性を持った遠隔診療支援システムを実現することができる。
上記実施例では、画像の拡大／縮小表示、ポインタ表示、手書き描画の場合の操作例について説明したが、そのほか、連携して診療を行う場合には、画像の階調を変更したり、ある位置の画素値（濃度）や２点間の距離(始点と現在のポインタ点間の距離)の表示する機能に関しても、入力データに対しポインタ７５と同様な編集方法を用い、図５に示したような、バッファ内に蓄積された複数のデータの中から最新のデータのみを選択して伝送して表示する方法を用いることによって、応答性のよい処理を実現することも可能である。この場合、画像の階調の表示，画素値の表示，２点間の距離を算出して表示する処理は各端末で実行される。
【００５３】
また、手書き描画で描いた線を消す、描画線を消去する消しゴムなどの機能に関しても、上述した手書き描画と同様な編集方法を用い、図４に示したように、バッファ内に蓄積されているデータを１回の送出分データとしてまとめて送り、送られたデータ位置の描画像を消去することにより、応答性のよい消しゴム処理を実現することもできる。
なお、回転／反転を行う場合に関しても、前述した拡大／縮小の場合や画像の表示を行う場合と同様に、編集を行わず、操作１回毎にデータを送る方法を用いることもできる。
【００５４】
また、上記実施例では、伝送確認手段は明示的に小データ（受信確認信号）を伝送することで、伝送の完了を確認しているが、他の方法により確認を行うこともできる。例えば、通信プロトコルレベルの確認（Ａcknowledge信号）を用いる方法もある。また、通信の品質が保証されている通信ハードウエアに対し、データを送信するようにデータを渡した時点、また、前記通信ハードウエアからデータを受け取った時点を確認して表示処理に進んでもよい。また、データの伝送が確認できる方法であれば、あらゆる方法を用いることができる。
【００５５】
【発明の効果】
本発明によれば、伝送確認手段において伝送完了を確認することによって、複数の端末での表示の開始を一致させることができ、また、編集手段において伝送するデータを編集することによって、伝送回数、伝送するデータ量を削減できるようになる。その結果、端末間の表示を同期させることができることに加え、入力に対する表示の応答性を高める著しい効果がある。特に、低速な伝送手段を用いた場合において、応答性を著しく高める優れた効果がある。
さらに、伝送するデータの編集方法を処理内容により選択することによって、伝送回数、データ量を削減しながらも端末操作者間の意志疎通に必要な情報は伝えることができる著しい効果がある。
【図面の簡単な説明】
【図１】本発明の一実施例の基本構成を示すブロック図である。
【図２】連携表示システムの処理の流れの一例を示すフローチャートである。
【図３】データ編集ステップで行われる編集方法の一例を示すフローチャートである。
【図４】手書き描画を連続して入力をした場合のデータの流れの一例を示す図である。
【図５】ポインタの表示を連続して入力した場合のデータの流れの一例を示す図である。
【図６】手書き描画処理を実行した場合の入力と画面の遷移について示す図である。
【図７】ポインタ表示処理を実行した場合の入力と画面の遷移について示す図である。
【図８】全ての入力データをバッファに蓄積し、伝送時に編集を行い合成する方法のデータの流れの一例を示す図である。
【図９】入力データをバッファに蓄積し、データの伝送時にデータを選択し、他のデータを削除する方法のデータの流れの一例を示す図である。
【図１０】本発明を医療分野に応用した、遠隔診療支援システムの構成の一例を示す図である。
【符号の説明】
１，３−１〜３−ｎ…端末、２…通信手段、４…入力手段、５…連携制御手段、６…表示手段、７…編集手段、８…バッファ、９…送出手段、１０…受信手段、１１…伝送確認手段、４１，５１…入力データ発生間隔、４２，５２…データ送出間隔、６０，６３，６４，６６，６７，６８，６９，７０，７３，７４，７６，７７，７８，７９…表示画面例、６１…手書き描画ペン型カーソル、６２…手書き描画で入力された座標点、６５…手書き描画で表示された座標点、７１…マウスカーソル、７２…ポインタ表示で入力された座標点、７５…ポインタ、８０…専門病院、８１…診療所、８２−１〜２…パーソナルコンピュータ、８３−１〜２…ディスプレイ、８４−１〜２…キーボード、８５−１〜２…マウス、８６−１〜２…電話、８７…検査装置、８８…光磁気ディスク、８９−１〜２…検査画像、９０…手書き描画

Claims (4)

1. 通信手段を介して接続された複数の端末間で同じ情報を表示するとともに、一つの端末のデータを該一つの端末とは異なる１以上の他の端末に伝送し、前記一つの端末および前記１以上の他の端末に前記データを表示して共同作業を行う連携表示システムであって、
   前記端末の各々は、
   操作者による入力をもとに表示内容の変更を指示する処理データを作成する入力手段と、
   前記他の端末への送出を待つ伝送データとして前記処理データを蓄積するバッファと、
   前記入力手段から新たに入力された前記処理データと前記バッファ内に蓄積されている前記伝送データの種類とその量に基づいて送信のための前記伝送データを編集し、前記バッファに蓄積する編集手段と、
   前記バッファの前記伝送データを他の端末に送出時間間隔で送出する送出手段と、
   前記他の端末からの前記伝送データを受信する受信手段と、
   前記送出手段と前記受信手段による前記一つの端末と前記他の端末間での前記伝送データの伝送が完了したことを確認する伝送確認手段と、
   前記伝送データに従って前記表示内容の変更を行う表示手段を具備し、
   前記バッファは、前記編集手段により登録された順番に前記伝送データを前記送出手段に送り、
   前記一つの端末では、前記入力の有無を調べ、前記入力がある時、前記編集手段により前記伝送データの編集が行われ、前記通信手段及び前記他の端末に対して前記伝送データの送出の可否が確認され、前記伝送データの送出が可能な場合、前記送出手段により前記通信手段を介して前記他の端末に前記伝送データが伝送され、前記他の端末からの受信確認が前記伝送確認手段によりなされた後、伝送した前記伝送データが前記表示手段に表示され、前記バッファの前記伝送データが削除され、次の前記入力を待ち、前記伝送データの送出の送出が不可能な場合次の前記入力を待ち、
   前記入力がない時、前記他端末からの受信すべき前記伝送データの有無が確認され、受信すべき前記伝送データがない場合には、次の前記入力を待ち、
   前記他の端末では、前記一つの端末からの受信があった時、前記受信手段により前記伝送データが受信され、前記一つの端末との間での前記伝送データの完了が確認された後、受信された前記伝送データが前記表示手段に表示され、
   前記編集手段は、前記バッファに前記伝送データが存在しない時、前記入力手段から新たに入力された前記処理データを前記伝送データとして前記バッファに登録し、
   前記バッファに前記伝送データが存在し、前記入力手段から新たに入力された前記処理データの処理内容が前記伝送データと異なる時、前記処理データを次に伝送する前記伝送データとして前記バッファに登録し、
   前記バッファに前記伝送データが存在し、前記入力手段から新たに入力された前記処理データの処理内容が前記伝送データと同一である時、前記表示内容が、手書き描画、ポインタの表示位置、拡大／縮小、画像の階調、画素値、２点間の距離、回転／反転、描画線の消去のいずれかであるかを判定し、
   前記表示内容が、前記手書き描画、前記描画線の消去、前記拡大／縮小、前記回転／反転のいずれかである場合には、前記処理データと前記バッファに存在する前記伝送データとをまとめて、１回で伝送する伝送データに合成し、
   前記表示内容が前記ポインタの表示位置、前記画像の階調の変更、前記画素値、前記２点間の距離のいずれかである場合には、前記バッファに存在する前記伝送データを削除し、前記入力手段から新たに入力された最新の前記処理データを前記バッファに登録し、
   前記一つの端末及び前記他の端末の前記表示手段に、前記伝送データが同期し表示され、
   前記処理データは、前記表示内容が、前記手書き描画、前記ポインタの表示位置、前記拡大／縮小、前記画像の階調、前記画素値、前記２点間の距離、前記回転／反転、前記描画線の消去である時それぞれ、前記手書き描画の軌跡を表す座標点のデータ、前記ポインタの表示位置を表す座標点のデータ、拡大率／縮小率、前記階調を指示するデータ、前記画素値を表示する画素の位置データ、前記２点の位置データ、前記回転／反転を指示するデータ、消去する描画像の位置を表す座標点のデータであることを特徴とする連携表示システム。
2. 通信手段を介して接続された複数の端末間で同じ情報を表示するとともに、一つの端末のデータを該一つの端末とは異なる１以上の他の端末に伝送し、前記一つの端末および前記１以上の他の端末に前記データを表示して共同作業を行う連携表示システムであって、
   前記端末の各々は、
   操作者による入力をもとに手書き描画の変更又はポインタの表示位置の変更を指示する処理データを作成する入力手段と、
   前記処理データを蓄積するバッファと、
   前記バッファ内に蓄積される前記処理データを伝送データとして編集する編集手段と、
   編集された前記伝送データを他の端末に送出する送出手段と、
   前記他の端末からの前記伝送データを受信する受信手段と、
   前記送出手段と前記受信手段による前記一つの端末と前記他の端末間での前記伝送データの伝送が完了したことを確認する伝送確認手段と、
   前記伝送データに従って前記手書き描画又は前記ポインタを表示する表示手段を具備し、
   前記編集手段は、前記伝送データの送出時に前記伝送データを編集し前記送出手段に送り、
   前記処理データが前記手書き描画の変更を指示する場合には、前記編集手段は、前記バッファに存在する前記処理データをまとめて、１回で伝送する伝送データに合成し、前記送出手段に送り、
   前記処理データが前記ポインタの表示位置の変更を指示する場合には、前記編集手段は、前記バッファに存在する古い前記処理データを削除し、前記バッファから入力された最新の前記処理データを選択し前記伝送データとして、前記送出手段に送り、
   前記編集手段は、前記伝送データが存在しない時、前記処理データを前記伝送データとして、前記送出手段に送り、
   前記他の端末では、前記一つの端末からの受信があった時、前記受信手段により前記伝送データが受信され、前記一つの端末との間での前記伝送データの完了が確認された後、受信された前記伝送データが前記表示手段に表示され、
   前記一つの端末及び前記他の端末の前記表示手段に、前記伝送データが同期し表示されることを特徴とする連携表示システム。
3. 請求項１または請求項２に記載の連携表示システムを用いることを特徴とする遠隔診療支援システム。
4. 通信手段を介して接続された複数の端末間で同じ情報を表示するとともに、一つの端末のデータを該一つの端末とは異なる１以上の他の端末に伝送し、前記一つの端末および前記１以上の他の端末に前記データを表示して共同作業を行う連携表示システムであって、
   各前記端末は、
   操作者による入力をもとに手書き描画の変更又はポインタの表示位置の変更を指示する処理データを作成する入力手段と、
   前記処理データを蓄積するバッファと、
   前記バッファ内に蓄積される前記処理データを伝送データとして編集する編集手段と、
   編集された前記伝送データを他の端末に送出する送出手段と、
   前記他の端末からの前記伝送データを受信する受信手段と、
   前記送出手段と前記受信手段による前記一つの端末と前記他の端末間での前記伝送データの伝送が完了したことを確認する伝送確認手段と、
   前記伝送データに従って前記手書き描画又は前記ポインタを表示する表示手段を具備し、
   前記処理データが前記手書き描画の変更を指示する場合には、前記編集手段により前記バッファの前記処理データの複数を伝送１回分としてまとめて得られた編集データが、前記送出手段により前記一つの端末から前記他の端末に送出され、前記処理データがポインタの表示位置の変更を指示する場合には、前記編集手段により前記バッファの古い前記処理データを削除し最新の前記処理データを残して得られた編集データが、前記送出手段により前記一つの端末から前記他の端末に送出され、前記他の端末からの伝送完了信号が確認された後に、各前記端末の前記表示手段に前記編集データが同期して表示されることを特徴とする連携表示システム。

Images