JP3959075B2 - 他端末操作装置 - Google Patents

Description

本発明は、少なくとも１以上の操作端末と被操作端末とをネットワークを介して接続し、前記操作端末から前記被操作端末を遠隔操作する他端末操作装置に関する。

近年、ローカルエリアネットワーク（以下、ＬＡＮと略記する）、インターネットなどのコンピュータネットワークシステムの発展により、コンピュータの利用形態も多様になりつつある。その一つとして大型プロジェクタや電子白板を接続した端末と会議参加者用の端末をネットワークを介して接続し、会議参加者が大型プロジェクタなどの共有画面を通して会議を行う電子会議システムがある。 この電子会議システムは遠隔地にある複数の端末を結んで利用されることが想定され、また、会議においては電子化された資料をプロジェクタなどに表示し、マウスなどのポインティングデバイスを用いて資料を指し示しつつ説明するなどの操作を行う必要がある。そこで、電子会議システムには２つの課題があった。 第一の課題は、接続端末同士の物理的距離、タイムラグを操作者に感じさせることなく共有画面の操作を可能とすることである。この点は、コンピュータ技術、ネットワーク技術の進歩による処理の高速化によって解決が期待できる。

第二の課題は、操作権の制御である。つまり、複数の端末から一つの共有画面の操作を可能としたシステムにおいては、共有画面を操作する会議参加者の端末（以下、操作端末という）から、操作される端末（以下、被操作端末という）に対して操作を行う権限（以下、操作権という）の制御を如何に行うかが重要な課題となっている。複数の操作端末から同時に、または同種類の操作権をもって被操作端末を操作することを可能とすると、被操作端末上において複数の操作内容が競合する場合に混乱が生じ、円滑な操作が妨げられるという問題が発生する。 従来の他端末操作装置の操作権制御に関する技術を以下に紹介する。

従来の操作権制御の第一の方式は、ポインタ入力装置（例えば、マウス）で得られたポイント情報が、自分の操作端末（以下、操作端末）の操作情報としてなのか、被操作端末の操作情報としてなのかの違いに拘らず、同量のポイント情報を対象となる端末に送り、ポインタ識別子を動かす方式である。この第一の方式を以下、自他同量ポイント方式と呼ぶ。

従来の操作権制御の第二の方式は、操作端末の表示装置上に、被操作端末を操作するための操作エリアを設ける方式である。この操作エリア切り出し方式は、操作エリアとして被操作端末の表示画面と同じサイズ若しくは被操作端末の表示画面の一部を部分的に切り出すことにより、操作端末を操作する場合と同じ感覚で被操作端末を操作できるようにしている。この第二の方式を以下、操作エリア切り出し方式と呼ぶ。

従来の操作権制御の第三の方式は、操作端末の表示装置に表示する操作画面を、操作端末の操作画面として利用するか、被操作端末の操作画面として利用するかを切り替える方式である。この切り替えにあたっては、操作端末の表示装置上に切り替えボタンのアイコン（以下、遠隔操作解除ボタンという）を用意しておき、共通画面を操作している会議参加者が共通画面上での操作を終え、操作権を解放するときに遠隔操作解除ボタンを押すものである。この第三の方式を以下、ボタン切り替え方式と呼ぶ。

上記従来の技術で述べた電子会議システムにおける共通画面の操作権制御の方式にはそれぞれ以下のような問題がある。

上記従来の操作権制御の第一の方式である自他同量ポイント方式は、被操作端末に送るポイント情報の調整に柔軟性に欠けるという問題があった。つまり、被操作端末に送るポイント情報を送る場合にはＬＡＮなどのネットワーク網を介するため、ネットワーク上を流れる他の情報によるトラフィック量の影響を受けやすい問題があった。また、複数の操作端末から一つの操作端末にポイント情報を送る場合においては、入力側の操作端末が増えるほど被操作端末の処理に負荷がかかり、次第に入力側にいる操作者の入力速度に被操作端末のポインタ識別子が追随できなくなるという問題があった。

上記問題点により、従来の自他同量ポイント方式では、電子会議参加者の入力側の操作端末台数に制限を設ける必要があり、また、共有画面の操作権を得た人の操作により実際にポインタ識別子が動き出すまでしばらく待ち、その後もポインタ識別子の動きがぎこちないものとなり、人間の反応速度に適さない使いづらいものとなっていた。

一方、単純にポイント情報を減らしてしまうと、細かくポインタ識別子を動かす必要が出た場合、情報が欠落した分、操作者が意図する位置にポインタ識別子を合わせるのが困難になるという弊害が生じることとなる。

上記従来の操作権制御の第二の方式である操作エリア切り出し方式は、操作端末の表示装置上に被操作端末の表示画面を切り出した操作エリアを設けるものであり、通常、被操作端末の表示画面も操作端末のものと同等の解像度を用いているため、被操作端末の表示画面上の多くの領域を操作するためには操作エリアを広くとる必要があった。そのため操作端末自身への操作に支障をきたすという問題が生じる。また、操作エリアの面積を小さくするため、被走査端末の表示画面の一部を切り出した場合には、被操作端末の表示画面全体に渡る操作を行うことができないという問題があった。

上記問題点より、操作エリア切り出し方式では、電子会議参加者は通常、会議中に被操作端末の操作のみではなく、操作端末も操作する必要があるので、切り出した操作エリアの設定の如何により、自他操作端末いずれかの操作性の低下を招いていた。例えば、切り出した操作エリアが小さい場合、電子会議参加者は手元の操作端末の表示画面上を見ずに共有画面を見ながらポインタ識別子を操作することが多いため、操作エリアから思わずはみ出してしまう場合がある。

上記従来の操作権制御の第三の方式であるボタン切り替え方式は、操作対象を切り替える際に、表示画面が全面的に切り替わるために操作の断裂を生じてしまい、操作端末から被操作端末へのファイルの移動など操作に連続性がある場合でも連続性のある一連の操作として実行することができないという問題があった。そのため一連の操作の間で、操作権の切り替え処理が必要となり、操作に断裂が生じていた。例えば、操作端末のファイルにある資料を使って説明したい場合、まず、該当ファイルを操作端末から被操作端末に転送し、次いで、切り替えボタン押下により被操作端末の操作権を獲得し、共有画面上で送信ファイルを開くという操作となり、通常のデスクトップ環境でファイルを開く操作に比べ、操作手順が複雑になっていた。

さらに、従来のボタン切り替え方式には他の問題点がある。一般に、参加者が大型プロジェクタなど共有画面を見ながら電子会議を行う場合は、操作端末の表示画面を見ずに直接、被操作端末の表示画面である大型プロジェクタを見つつ操作できることが都合が良いが、ボタン切り替え方式によれば、操作権解除、操作権獲得の際に操作端末に目を移して操作する必要があり、参加者の議論参加がしばしば中断されるという問題が生じていた。

上記従来の他端末操作装置の問題点に鑑み、本発明の他端末操作装置は、操作端末と被操作端末との間に流れる情報量を調節し、操作端末のポインタ入力装置からの入力に対する被操作端末のポインタ識別子の反応を向上させることを目的とする。

また、本発明の他端末操作装置は、操作エリアを設けた場合でも、操作端末単独の操作性を落とすことなく、かつ、被操作端末を操作端末と同じ感覚で操作できることを目的とする。また、被操作端末操作中に誤って操作端末表示画面上の操作エリアから逸脱しないようにすることを目的とする。

また、本発明の他端末操作装置は、操作端末から被操作端末への操作の移行を連続的にし、使用者に直感的な操作を提供することを目的とする。

上記課題を解決するために本発明にかかる他端末操作装置は、操作端末が、ポイント入力装置を備えた入力部と、前記入力部から入力されるポイント情報のサンプリングレートを変更するサンプリングレート調整部を備え、前記入力部からのポイント情報のサンプリングレートを調整することにより前記ネットワークに送信される前記ポイント情報の情報量を調整することを特徴とする。

この構成により、ネットワーク上のトラフィックと、被操作端末で処理されるポイント情報の情報量を調整することができ、被操作端末の共有画面上でポインタ識別子を円滑に動かすことができる。

次に、前記操作端末が、第一の設定時間を記憶する第一のタイマと第二の設定時間を記憶する第二のタイマを備え、前記第一のタイマは前記入力部からのポイント情報の入力開始からの経過時間をカウントし、前記第二のタイマは前記入力部からのポイント情報の入力停止からの経過時間をカウントし、前記サンプリングレート調整部は、前記第一の設定時間内であれば、前記サンプリングレートを第一のサンプリングレートとし、前記第一の設定時間経過後、前記サンプリングレートを第二のサンプリングレートとし、前記第一のタイマは、前記第二の設定時間経過によりリセットされることが好ましい。

この構成により、操作者がポイント入力装置など入力部から操作開始後、一定時間経過まで、つまりポインタ識別子操作当初は、第一のサンプリングレートとして高いサンプリングレートを採用し、送信するポイント情報量を多くしてポインタ識別子の動きを詳細なものとでき、一定時間経過後、つまり操作者の目的の操作が実行できる猶予時間経過時点でサンプリングレートを落としてネットワークを流れる情報量を調整することができる。

次に、前記操作端末が、前記入力部から入力されるポイント情報からポインタ識別子の移動速度を検出するポインタ移動速度検出部を備え、前記サンプリングレート調整部は、前記検出されたポインタ移動速度が設定速度以下であれば、前記サンプリングレートを第一のサンプリングレートとし、前記ポインタ移動速度が前記設定速度より大きい場合は、前記サンプリングレートを第二のサンプリングレートとすることが好ましい。

この構成により、操作者がポインタ識別子をゆっくり細かく移動させている場合などに、第一のサンプリングレートとして高いサンプリングレートを採用し、送信するポイント情報量を多くしてポインタ識別子の動きを詳細なものとでき、ポインタ識別子を設定速度以上速く、つまり大雑把に大きく移動させている場合などにサンプリングレートを落として情報量を小さくし、ネットワークを流れる情報量を調整することができる。

次に、被操作端末が、ＣＰＵ使用率を検出するＣＰＵ使用率検出部を備え、前記サンプリングレート調整部は、前記検出されたＣＰＵ使用率が所定の大きさ以下であれば、前記サンプリングレートを第一のサンプリングレートとし、前記検出されたＣＰＵ使用率が所定の大きさより大きい場合は、前記サンプリングレートを第二のサンプリングレートとすることが好ましい。

この構成により、被操作端末のＣＰＵ使用率が高く、被操作端末側の負荷が大きい状態の場合には、各操作端末から送信されるポイント情報のサンプリングレートを第二のサンプリングレートとして低いサンプリングレートとすることができ、被操作端末の負荷状態に合わせたポイント情報量の調整ができ、円滑な電子会議システムの運用ができる。

次に、前記被操作端末が、前記共有画面となる表示部を備え、前記表示部の共有画面上に特定領域を設定し、前記操作端末のサンプリングレート調整部が、前記共有画面上に表示されるポインタ識別子と前記特定領域との距離に応じてサンプリングレートを変更して調整することが好ましい。

この構成により、アイコン、タスクバーなどの特定の領域に対して操作を行うために近傍に近づいた場合などに、サンプリングレートを高く保ち、細かい操作を行いやすくし、それら特定領域の近傍にない場合には大雑把なポインティングなどの操作としてサンプリングレートを低くすることができ、円滑な電子会議システムの運用ができる。

次に、前記被操作端末が、前記操作端末間の優先度を設定する優先度設定部を備え、前記操作端末の前記サンプリングレート調整部が、前記設定された優先度に応じてポイント情報のサンプリングレートを変更することが好ましい。

この構成により、操作端末が複数ある場合に、会議進行役、主発表者の操作端末など優先度の高い操作端末に対して優先的に回線容量を割り当て、ネットワークシステム全体として効率の良いデータ通信を行うことができ、円滑な電子会議システムの運用ができる。

次に、前記優先度設定部が、前記操作端末間の優先度を、前記被操作端末への接続順に従って設定することが好ましい。

この構成により、操作端末間で接続順という一定の優先順位付けに従った回線容量の割り当てができ、円滑な電子会議システムの運用ができる。

次に、前記被操作端末が、前記操作端末に対して前記被操作端末の操作を優先的に行うことができる操作権を設定する操作権設定部を備え、前記優先度設定部が、前記操作権設定部より与えられた操作権を保有している者の優先度を高く設定することが好ましい。

この構成により、会議進行の状況に従い、その時点で発言者として操作権を持つ者に対して優先的に回線容量の割り当てができ、円滑な電子会議システムの運用ができる。

また、上記課題を解決するために本発明にかかる他端末操作装置は、前記被操作端末が共有画面となる表示部を備え、前記操作端末がポイント入力装置を備えた入力部と、被操作端末の共有画面を縮小表示した被操作端末操作エリアを表示する共有画面縮小表示処理部を備えた表示部とを備え、前記ポイント入力装置のポインタ識別子が前記被操作端末操作エリア外にある場合は、前記ポイント入力装置による操作情報を前記操作端末自身に対する操作情報として取り込み、前記ポイント入力装置のポインタ識別子が前記被操作端末操作エリア内にある場合は、前記ポイント入力装置による操作情報を前記被操作端末に送信して被操作端末を遠隔操作し、前記被操作端末操作エリア内の前記ポインタ識別子の相対位置が、前記被操作端末の共有画面内のポインタ識別子の相対位置と等しいことを特徴とする。

この構成により、操作端末単独のローカルな操作のための操作領域を確保するため被操作端末操作エリアの面積を適度に小さく設定した場合でも、被操作端末の共有画面全面を操作することができ、また、操作端末単独の操作性を低下させることもない。

次に、前記操作端末の前記ポイント入力装置によるポインタ識別子の移動操作に対して、前記ポインタ識別子が前記被操作端末操作エリア内にあるか否かにより前記操作端末表示画面上のポインタ識別子の移動速度を変更することが好ましい。

この構成により、ポインタ入力装置へのポインタ識別子の同じ移動操作であっても、前記ポインタ識別子が前記被操作端末操作エリア内にある場合は、操作端末の表示画面上のポインタ識別子の移動速度を小さくすることができ、被操作端末の共有画面全面を使った操作を行っても、連動して動く操作端末の表示画面上のポインタ識別子が不用意に被操作端末操作エリア外にはみ出てしまうことがなくなる。

次に、前記操作端末が、前記ポインタ識別子の前記被操作端末操作エリアからの退出を制限するポインタ退出制限部を備え、前記ポインタ退出制限部は、あらかじめ設定されているイベントを検出した場合に、前記ポインタ識別子の前記被操作端末操作エリアからの退出を許可することが好ましい。

この構成により、被操作端末共有画面のポインタ識別子を操作中、操作端末表示画面のポインタ識別子が、不用意に被操作端末操作エリアから逸脱することがない。なお、設定できるイベントとして、例えば、ポイント入力装置のボタン押下しながらの移動、一定速度以上での移動などが挙げられる。

また、上記課題を解決するために本発明にかかる他端末操作装置は、操作端末が、ポイント入力装置を備えた入力部と、被操作端末入口エリアを備えた表示部を備え、被操作端末が、共有画面となる表示部を備え、前記共有画面が被操作端末出口エリアを備え、前記入口エリアと前記出口エリアは前記ポイント入力装置の操作対象を切り替えるイベントを発生する特定領域であって、前記操作端末の表示画面上、ポインタ識別子が前記入口エリアに入った場合は、前記ポイント入力装置による操作情報を前記被操作端末に送信して前記被操作端末の共有画面上のポインタ識別子の遠隔操作を実行し、前記被操作端末の共有画面上、ポインタ識別子が前記出口エリアに入った場合は、前記被操作端末の遠隔操作を解除し、前記ポイント入力装置による操作情報を操作端末自身に対する操作情報として取り込むことを特徴とする。

この構成により、入口エリア、出口エリアを通して操作端末の操作と被操作端末の操作とを自動的に切り替えて、両者間にまたがる操作の流れを連続性のあるものとすることができる。

次に、前記操作端末および前記被操作端末が、ファイルを特定のファイル識別子と関連づけて管理し、前記操作端末の表示画面において、前記ファイル識別子を前記入口エリアに移動すると、前記ファイルを被操作端末に送信するとともに、前記被操作端末の共有画面上、前記ファイルに対応するファイル識別子が表示されることが好ましい。

この構成により、操作端末と被操作端末が入口エリア、出口エリアをゲートとする仮想的な経路を持ち、操作者はこの仮想経路を通して両者間のデータ移動、ファイル識別子の移動、ポイント識別子の移動という概念で連続性のある操作を実行できる。

次に、前記操作端末の表示画面に占める前記入口エリアの割合と、前記被操作端末の共有画面に占める前記出口エリアの割合を調整できることが好ましい。

この構成により、操作画面上の入口エリア、出口エリアの相対面積を調整し、入口エリアへの進入操作、出口エリアからの退出操作の行いやすさを調整することができ、円滑な電子会議システムの運用が確保できる。

また、上記課題を解決するために本発明にかかる他端末操作装置は、前記操作端末が、ポイント入力装置を備えた入力部を備え、前記被操作端末が、共有画面となる表示部と、前記操作端末に対して前記被操作端末の操作を優先的に行うことができる操作権を設定する操作権設定部を備え、前記設定された操作権の解除を前記被操作端末の共有画面上におけるポインタ識別子の特定操作により実行できることを特徴とする。

この構成により、操作権の解除にあたり、操作端末の表示画面上でのポインタ操作を不要とし、共有画面上から目を離すことなく操作権解除が実行できる。また、操作権の保有開始から解除までの間、操作端末の表示画面上のポインタ識別子は不要であるので、ポインタ識別子を表示せず、又は放置したままとすることができ、操作端末上で不用意なイベントが発生することを防止することができる。

次に、前記被操作端末の共有画面が、操作権解除ボタン領域を備え、共有画面上のポインタ識別子による前記操作権解除ボタン領域の押下操作により前記操作権を解除することが好ましい。

この構成により、操作権の解除にあたり操作端末の表示画面上でのポインタ操作を不要とし、共有画面上の操作解除ボタン押下操作によって操作権を解除することができる。

次に、前記被操作端末が、操作権を強制解除するまでの猶予時間を記憶するタイマを備え、前記タイマは操作権を保有する操作端末の前記ポイント入力装置からの入力操作が停止してからの経過時間をカウントし、前記猶予時間が経過すれば前記操作権を解除することが好ましい。

この構成により、操作権保有者の意思に基づき、一定期間入力操作を停止することで操作権を解除することができる。

次に、前記操作端末が、カメラと、人間の身振りによるジェスチャを解析するジェスチャ解析部を備え、操作者のジェスチャによる解除指示の入力を前記ジェスチャ解析部により解析し、前記被操作端末に操作権解除を通知することにより前記操作権の解除ができることが好ましい。

この構成により、操作権の解除にあたり操作端末の表示画面上でのポインタ操作を不要とし、操作者自身の身振りによるジェスチャ、例えば手でクロスを描くなどの操作によって操作権を解除することができる。

次に、前記操作端末が、音声入力装置と、人間の音声入力を解析する音声解析部を備え、前記音声入力装置からの操作者の音声による解除指示の入力を基に前記音声解析部により解析し、前記被操作端末に操作権解除を通知することにより前記操作権の解除ができることが好ましい。

この構成により、操作権の解除にあたり操作端末の表示画面上でのポインタ操作を不要とし、操作者の音声による指示、例えば「解除」などの音声入力により操作権を解除することができる。

次に、本発明の他端末操作装置を実現する処理プログラムを記録したコンピュータ読み取り可能な記録媒体は、前記操作端末におけるポイント情報の入力を受け付けるポイント情報入力処理ステップと、前記入力されたポイント情報のサンプリングレートを変更するサンプリングレート変更処理ステップを備え、前記入力されたポイント情報のサンプリングレートを調整することにより前記ネットワークに送信される前記ポイント情報の情報量を調整する処理プログラムを記録したことを特徴とする。

この処理プログラムにより、ネットワーク上のトラフィックと、被操作端末で処理されるポイント情報の情報量を調整することができる他端末操作装置をコンピュータを用いて実現することができる。

次に、本発明の他端末操作装置を実現する処理プログラムを記録したコンピュータ読み取り可能な記録媒体は、前記操作端末におけるポイント情報の入力を受け付けるポイント情報入力処理ステップと、被操作端末操作エリアを備えた表示画面を前記操作端末の表示画面として提供する処理ステップと、前記被操作端末の共有画面を提供する処理ステップと、前記入力されたポイント情報によるポインタ識別子が前記被操作端末操作エリア外にある場合は、前記ポイント情報を前記操作端末自身に対する操作情報として扱う処理ステップと、前記入力されたポイント情報によるポインタ識別子が前記被操作端末操作エリア内にある場合は、前記ポイント情報を前記被操作端末に送信して被操作端末を遠隔操作する処理ステップと、前記被操作端末操作エリア内の前記ポインタ識別子の相対位置が、前記被操作端末の共有画面内のポインタ識別子の相対位置と等しくなるように表示する処理ステップを備えた処理プログラムを記録したことを特徴とする。

この処理プログラムにより、操作端末単独のローカルな操作のための操作領域を確保するため被操作端末操作エリアの面積を適度に小さく設定した場合でも、被操作端末の共有画面全面を操作することができ、操作端末単独の操作性が低下することがない他端末操作装置をコンピュータを用いて実現することができる。 次に、本発明の他端末操作装置を実現する処理プログラムを記録したコンピュータ読み取り可能な記録媒体は、前記操作端末におけるポイント情報の入力を受け付けるポイント情報入力処理ステップと、被操作端末入口エリアを備えた表示画面を前記操作端末の表示画面として提供する処理ステップと、被操作端末出口エリアを備えた前記被操作端末の共有画面を提供する処理ステップと、前記操作端末の表示画面上、ポインタ識別子が前記入口エリアに入った場合は、前記ポイント入力装置による操作情報を前記被操作端末に送信して前記被操作端末の共有画面上のポインタ識別子の遠隔操作を実行する処理ステップと、前記被操作端末の共有画面上、ポインタ識別子が前記出口エリアに入った場合は、前記被操作端末の遠隔操作を解除し、前記ポイント入力装置による操作情報を操作端末自身に対する操作情報として取り込む処理ステップとを備えた処理プログラムを記録したことを特徴とする。

この処理プログラムにより、入口エリア、出口エリアを通して操作端末の操作と被操作端末の操作とを自動的に切り替えて、両者間にまたがる操作の流れを連続性のあるものとできる他端末操作装置をコンピュータを用いて実現することができる。

次に、本発明の他端末操作装置を実現する処理プログラムを記録したコンピュータ読み取り可能な記録媒体は、前記操作端末におけるポイント情報の入力を受け付けるポイント情報入力処理ステップと、前記被操作端末の共有画面を提供する処理ステップと、前記操作端末に対して前記被操作端末の操作を優先的に行うことができる操作権を設定する処理ステップと、前記被操作端末の共有画面上におけるポインタ識別子の特定操作により前記設定された操作権を解除する処理ステップとを備えた処理プログラムを記録したことを特徴とする。

この処理プログラムにより、操作権の解除にあたり、操作端末の表示画面上でのポインタ操作を不要とし、共有画面上から目を離すことなく操作権解除が実行できる他端末操作装置をコンピュータを用いて実現することができる。

本発明の他端末操作装置によれば、操作端末と被操作端末との間に流れる情報量を調節し、操作端末のポインタ入力装置からの入力に対する被操作端末のポインタ識別子の反応を向上させることができる。

また、本発明の他端末操作装置によれば、操作エリアと共有画面上のポインタ表示位置関係を調節することにより操作の違和感を無くし、また、操作エリアを設けた場合でも、ポインタ移動速度調節処理により操作端末単独の操作性を落とすことなく細かい操作を可能として被操作端末を操作端末と同じ感覚で操作できる環境を提供できる。また、ポインタ移動制限処理により被操作端末操作中に誤って操作端末表示画面上の操作エリアから逸脱することがない。

また、本発明の他端末操作装置によれば、操作端末表示画面上に入口エリア、被操作端末共有画面上に出口エリアを設けることにより、操作端末、被操作端末間の操作の移行を連続的にし、一連の操作に連続性を与えることができる。

また、本発明にかかる他端末操作装置によれば、被操作端末の遠隔操作中は、ポイント情報を操作端末自身のポインタ識別子には与えず、被操作端末のみに与えることができ、操作端末上でポインタ識別子が特別な領域に不用意に入ってしまったり、クリックにより操作端末上で意図しないイベントが発生したりすることを防止できる。

以下、本発明の実施形態にかかる他端末操作装置について、図面を参照しながら説明する。

（実施形態１）
実施形態１の他端末操作装置は、操作権を持つ電子会議参加者が自端末のポインタ入力装置から入力したポイント情報量のサンプリングレートを調整することにより被操作端末へのポイント情報送信量を適切に調節する機能を備えた装置である。

本実施形態１にかかる他端末操作装置の全体構成の概略と本装置による処理流れの全体像を図面を参照しつつ説明する。

図１は、他端末操作装置を実現したネットワーク全体の構成の概略を示した図である。図１において、１は、電子会議参加者が共同利用する共有画面を表示する大型プロジェクタなどの共有画面表示装置、２は、共有画面表示装置１を直接制御する端末である被操作端末、３および４は、電子会議参加者が各自利用する操作端末である。

被操作端末２と操作端末３および操作端末４は、ネットワーク５により接続されており、操作端末３、操作端末４は後述する方法で共有画面上で被操作端末２の操作権を獲得し、付属のポインタ入力装置からのポイント情報により被操作端末２の制御が可能である。

なお、図１では、操作端末は３および４の２つ図示したが、会議参加者の人数に応じて増減しても良い。

また、共有画面表示装置１は、プロジェクタに限定されるものではなく、陰極線管表示装置、液晶表示装置などであっても良いことは言うまでもない。

図２と図３は、本発明の他端末操作装置を構成する端末装置として利用する情報処理装置の構成の概略を示すブロック図である。図２は被操作端末のブロック図、図３は操作端末のブロック図である。図２と図３において同様の要素については同じ番号を付している。

図２に示すように本実施形態１の被操作端末は、大別して入力部１０、表示部２０、制御部３０、記憶部４０、通信インタフェース部５０、第一のサンプリングレート調整部６０を備えている。なお、図示していないが、システム全体の制御処理に必要なデバイス類は装備しているものとする。

また、図３に示すように本実施形態１の操作端末は、大別して入力部１０、表示部２０、制御部３０、記憶部４０、通信インタフェース部５０、第二のサンプリングレート調整部７０を備えている。なお、図示していないが、システム全体の制御処理に必要なデバイス類は装備しているものとする。

ここで入力部１０は、利用者からの操作情報を入力する部分で、キーボードなどのキー入力装置１１、マウスなどのポインタ入力装置１２を備えている。なお、キー入力装置１１はキーボードに限らず、手書き文字認識装置等のキーコード入力装置などを用いることができる。また、ポインタ入力装置１２はマウスに限らず、タブレット、電子ペンなど他のポインティングデバイスを用いることができる。

表示部２０は、ディスプレイ表示装置であり、カラー陰極線管装置、液晶表示装置、プラズマディスプレイ、プロジェクタ、電子白板などコンピュータの表示装置として利用されるものであれば良い。本実施形態１では、大型のプロジェクタとする。また、図３に示すように操作端末側の表示部２０は、共有画面縮小表示処理部２１を備えている。これは、操作端末の表示部２０の表示画面上に被操作端末２の共有画面を縮小表示した被操作端末操作エリアを表示処理する部分である。このように操作端末の表示部２０に被操作端末の共有画面を縮小表示することにより、実施形態２などにおいて後述するように操作端末利用者は自らの画面の一部に被操作端末操作エリアとその他の自端末用のローカルな操作エリアを併有することができ、かつ被操作端末操作エリア内に共有画面の全面が縮小表示されることとなる。

制御部３０は、マイクロプロセッサユニットなどであり、装置各部の制御を行う部分である。操作端末への操作権の設定を行う操作権設定部など各種判断を行う部分としても動作する。

記憶部４０は、メモリ、ハードディスクなどの記憶媒体であり、揮発性不揮発性の別を問わない。記憶部４０には装置制御に必要なプログラム、データが格納されており、制御部３０によってアクセスされる。本実施形態１の他端末操作装置で利用されるデータとしては、以下の３種類のデータが含まれている。

第一に、入力部１０から入力された情報を操作端末の制御部３０、通信インタフェース部５０で処理し、操作端末に対する処理情報か、ネットワーク上の被操作端末２に対する処理情報かを判定するための処理対象判定情報がある。

第二に、ポインタ識別子のサンプリングレート、そのサンプリングレートを調整するためのサンプリングレート情報がある。

第三に、表示部２０上に構築されるＧＵＩ画面上に設けられた各種エリアに関するエリア情報がある。

通信インタフェース部５０は、他端末操作装置を構成する各端末装置間のデータ通信を制御する部分であり、必要なハードウェア、ドライバソフトを装備している。

本実施形態１の被操作端末の第一のサンプリングレート調整部６０は、本実施形態１では、ＣＰＵ使用率検出部６１、優先度設定部６２、操作回数カウンタ６３を備えている。ＣＰＵ使用率検出部６１は被操作端末の制御部３０のＣＰＵの使用率を検出するものであり、優先度設定部６２は接続されている操作端末のうち、被操作端末を操作できる優先度を設定する部分である。操作回数カウンタ６３は各操作端末からのポイント情報送信の回数をカウントする部分である。

本実施形態１の操作端末の第二のサンプリングレート調整部７０は、サンプリングレート変更部７１、第一のタイマ７２、第二のタイマ７３、ポイント情報検出カウンタ７４、ポインタ移動検出部７５を備えている。サンプリングレート変更部７１は、入力部１０からのポイント情報のサンプリングレートを変更する部分であり、ポイント情報検出カウンタ７４は入力されたポイント情報量をカウントする部分であり、ポインタ移動検出部はポインタの移動速度などを検出する部分である。

本実施形態１の他端末操作装置のポイント情報量調節機能について説明する。 冒頭に記したように、本実施形態１の他端末操作装置は、操作権を持つ電子会議参加者が操作端末のポインタ入力装置から入力したポイント情報量の被操作端末への送信量を適切に調節する機能を備えている。本実施形態１は、ポイント情報量の調節を入力部１０のマウスなどポインタ入力装置１２のサンプリングレートを調節することにより実行する。

まず、サンプリングレートについて説明する。図４は、サンプリングレートの概念を説明する図である。ここでいうサンプリングとは、一定の時間間隔ごとにマウスの座標位置を抽出することである。いま、制御部３０が制御するポインタ入力装置１２のドライバは、操作者がマウスを動かすとｔ秒間隔でマウスによって入力された座標位置をサンプリングし、マウスのポイント座標を得るようになっている。図４は、ディスプレイ上のマウスポインタの動きを示している。マウス操作によってマウスポインタがＡ点からＢ点に移動した場合であり、その間に８＊ｔ秒かかったため、８回のサンプリングが行われ、ｐ０〜ｐ７までの合計８点のポイント座標を順に得ている。

図５は、操作端末３の表示部２０の表示画面上のマウスポインタと被操作端末２の表示部２０の表示画面上のマウスポインタとの連動の様子を示した図である。操作端末３の操作者がポインタ入力装置１２を操作して、図５左の操作端末の表示画面に示すようにポインタ識別子をＣ点からＤ点まで移動すると、操作端末３は所定のサンプリングレートに従ってポイント座標データをサンプリングし、ネットワーク５を介して被操作端末２へ送信する。被操作端末２は送信されたポイント座標データを受信し、その受信データに従って、図５右の被操作端末の表示画面に示すようにポインタ識別子をＣ’点からＤ’点まで移動させる。これにより、操作端末側のポインタ入力装置１２の操作に連動して、被操作端末側のポインタ識別子を操作することができる。

なお、図５は、連動の様子を説明するために、操作端末、被操作端末双方の表示画面にそれぞれポインタ識別子を表示しているが、被操作端末２のポインタ識別子の操作中、必ずしも操作端末３の表示画面においてポインタ識別子を表示する必要はない。

以上が、ポインタ識別子操作のサンプリングと連動操作の概念の説明である。次に、ネットワーク上で送信するポイント情報量の調節の実行方式を説明する。 本実施形態１では、操作端末から随時送信されるポイント情報を間引くことにより送信するポイント情報量を適正に制限し、かつ、間引き処理を工夫することで被操作端末側のポインタ識別子の円滑な動作を実現するものである。本実施形態１は、ポイント情報の間引き処理として以下に示す３つの間引き処理を説明する。

第一の間引き処理は、ポイント入力装置を動かし始めた当初は間引き率を小さくし、一定時間経過または一定量移動後からポイント情報の間引き率を大きくするものである。この時間差または移動量差による間引き率調整の処理により、ポイント入力装置の動作開始当初は、被操作端末のポイント識別子を細かく移動させることができ、操作性の向上を図ることができる。

この第一の間引き処理を実現する方式の例として、タイマを用いる方式とポイント情報の検出カウンタを用いる方式とを説明する。

前者のタイマを用いる方式を先に説明する。ここでは、第一のタイマと第二のタイマの２つを用いる。第一のタイマは間引き率を大きくするまでの一定時間の経過を検知するために用いるものであり、第二のタイマはポイント情報入力の停止があってからの所定時間経過を検知するもので、ポイント情報入力の停止がマウス操作の一連の操作中における一時的な停止によるものかマウス操作の一連の操作の終了によるものかを判定するために用いるものである。

このタイマを用いる方式では、以下の４種類のデータを利用する。それらは、マウス移動開始時点でスタートする第一のタイマ７２（所定時間Ｘでタイムアウトする）、ポイント情報を検出しなくなってからスタートする第二のタイマ７３（所定時間Ｙでタイムアウトする）、第一のポイント情報間引き率ｍ（０≦ｍ＜１）、第二のポイント情報間引き率ｎ（０≦ｍ＜ｎ＜１）である。ここで、第二のポイント間引き率ｎは第一のポイント間引き率ｍに比べて大きく設定されている。それぞれのデータは記憶部４０に格納され、必要に応じて制御部３０、サンプリングレート変更部７１のデータとして利用される。

第一の間引き処理のタイマを用いる方式の処理ステップを図６のフローチャートを参照しながら以下に説明する。

まず、操作者がマウスなどのポインタ入力装置１２を用いて操作を開始する。制御部３０はドライバを通じてポインタ入力装置１２からの入力をモニタしており、ポインタ入力装置１２の操作開始を検知する（ステップＳ６０１）。

制御部３０は、ポインタ入力装置１２の操作開始を検知すると、第一のタイマ７２をリセットしてカウントを開始させる。また、制御部３０はサンプリングレート変更部７１により間引き率をｍに設定する（ステップＳ６０２）。つまり、ポインタ入力装置１２の操作開始直後は間引き率は小さい間引き率に設定される。

一定のサンプリングレートに従ってポインタ入力装置１２からポイント情報（ポイント座標データ）を検出する（ステップＳ６０３）。

次に、第一のタイマ７２がタイムアウトしているか否かをチェックする（ステップＳ６０４）。つまり、入力が開始されてから所定時間Ｘが経過したがどうかをチェックする。所定時間Ｘが経過していない場合は間引き率をｍのまま変更せずにステップＳ６０５に進み、所定時間Ｘが経過しておれば、間引き率をｎに変更する（ステップＳ６０８）。この処理ステップによりポインタ入力装置による入力開始後の一定時間内は小さい間引き率を適用し、一定時間経過後は高い間引き率とする本発明の処理が実現できる。

次に、ステップＳ６０５において、第二のタイマ７３をチェックする。第二のタイマ７３がタイムアウトしていない場合はステップＳ６０６に進み、第二のタイマ７３がタイムアウトしている場合はステップＳ６０１に戻る。これは、所定時間Ｙ経過をもって前回の一連の操作が終了し、新しい一連の操作に対する処理を開始することを意味する。

ステップＳ６０６において、制御部３０は第二のタイマ７３をリセットし、カウントを開始させる。これは、上記のステップＳ６０３でポイント情報を検出してから、ループによる次回のステップＳ６０３によるポイント情報検出までの経過時間をカウントするためである。これによりポイント入力装置１２から入力がなくなってからの経過時間を知ることができる。

次に、ステップＳ６０７において、ステップＳ６０３で得たポイント情報に対し、現在指定されている間引き率で間引きを行い、間引き後のデータを被操作端末２に送信する。

以上が第一の間引き処理を実現するタイマを用いる方式である。

次に、後者のポイント情報検出カウンタ７４を用いる方式を説明する。ポイント情報検出カウンタ７４を用いる方式では、以下の４種類のデータを利用する。それらは、ポイント情報検出カウンタ７４（カウンタ値をｃとする。ここで、０≦ｃ＜Ｃ、Ｃは定数とする）、ポイント情報を検出しなくなってからスタートする第二のタイマ７３（Ｙでタイムアウトする）、第一のポイント情報間引き率ｍ（０≦ｍ＜１）、第二のポイント情報間引き率ｎ（０≦ｍ＜ｎ≦１）である。タイマ方式と同様、第二のポイント間引き率ｎは第一のポイント間引き率ｍに比べて大きく設定されている。それぞれのデータは記憶部４０に格納され、必要に応じて制御部３０、サンプリングレート変更部７１のデータとして利用される。

第一の間引き処理のポイント情報検出カウンタ７４を用いる方式の処理ステップを図７のフローチャートを参照しながら以下に説明する。

まず、操作者がマウスなどのポインタ入力装置１２を用いて操作を開始する。制御部３０はドライバを通じてポインタ入力装置１２からの入力をモニタしており、ポインタ入力装置１２の操作開始を検知する（ステップＳ７０１）。

制御部３０は、ポインタ入力装置１２の操作開始を検知すると、ポイント情報カウンタ７４をリセットしてカウントを開始させる。また、制御部３０はサンプリングレート変更部７１により間引き率をｍに設定する（ステップＳ７０２）。つまり、ポインタ入力装置１２の操作開始直後は間引き率は小さい間引き率に設定される。

一定のサンプリングレートに従ってポインタ入力装置１２からポイント情報（ポイント座標データ）を検出する。ポイント座標検出ごとにポイント情報カウンタ７４はカウンタ値ｃを“１”ずつ増分させる（ステップＳ７０３）。

次に、ポイント情報カウンタ７４のカウント値ｃがＣに達しているか否かをチェックする（ステップＳ７０４）。つまり、入力が開始されてから検出されたポイント情報量が所定量Ｃに達したか否かをチェックする。所定量Ｃに達していない場合は間引き率をｍのまま変更せずにステップＳ７０５に進み、所定量Ｃに達しておれば、間引き率をｎに変更する（ステップＳ７０８）。この処理ステップによりポインタ入力装置による入力開始後当初の移動は小さい間引き率を適用して詳細な動きとし、その後は高い間引き率とする本発明の処理が実現できる。

次に、ステップＳ７０５以降の第二のタイマ７３を利用した、ポイント入力装置１２から入力がなくなってからの経過時間の検出とその処理に関する処理ステップについてはタイマ方式で説明した図６のフローのステップＳ６０６以降の処理ステップと同様であり、ここでは説明を省略する。

以上が第一の間引き処理を実現するポイント情報検出カウンタ７４を用いる方式である。

以上、本実施形態１の他端末操作装置の第一の間引き処理によれば、ポイント入力装置を動かし始めた当初は間引き率を小さくし、一定時間経過または一定量移動後からポイント情報の間引き率を大きくするように調節でき、この時間差または移動量差による間引き率調整の処理により、操作性を低下させることなく、回線容量の節約ができ、円滑な被操作端末側のポインタ識別子の操作を行うことができる。

次に、本実施形態１の他端末操作装置が備える第二の間引き処理を説明する。 第二の間引き処理は、ポイント入力装置によるポインタ識別子の移動速度に応じて間引き率を調整するものである。ポインタ識別子の移動速度が小さい場合にはポインタ識別子の細かい動きを行っているものと判断してポインタ情報の間引き率を小さく設定し、逆にポインタ識別子の移動速度が大きい場合にはポインタ識別子の大きな移動などを行っているものと判断してポインタ識別子の間引き率を大きく設定するものである。

この第二の間引き処理であるポインタ識別子の移動速度に応じた間引き率の調節方式の例を以下に説明する。

ポインタ識別子の移動速度に応じた間引き率調節方式では、以下の４種類のデータを利用する。それらは、直前のポインタの座標ｐ、第一のポイント情報間引き率ｍ（０≦ｍ＜１）、第二のポイント情報間引き率ｎ（０≦ｍ＜ｎ≦１）、間引き率を切り替える速度の大きさの閾値Ｖである。ここで、第二のポイント間引き率ｎは第一のポイント間引き率ｍに比べて大きく設定されている。それぞれのデータは記憶部４０に格納され、必要に応じて制御部３０、サンプリングレート変更部７１のデータとして利用される。

第二の間引き処理方式の処理ステップを図８のフローチャートを参照しながら以下に説明する。

まず、操作者がマウスなどのポインタ入力装置１２を用いて操作を開始する。制御部３０はドライバを通じてポインタ入力装置１２からの入力をモニタしており、ポインタ入力装置１２の操作開始を検知する（ステップＳ８０１）。

ポインタ移動検出部７５は、ポインタ入力装置１２の操作開始を検知すると、ポイント情報（座標）を検出し、ｐとして格納する（ステップＳ８０２）。

次にサンプリングされたポイント情報（座標）を検出し、ｐとの差分から移動距離ｓを求める（ステップＳ８０３）。また、サンプリングしたポイント情報（座標）によりｐのデータを更新する（ステップＳ８０４）。

ポインタ移動検出部７５は、移動距離ｓをサンプリング間隔ｔ秒で割り、移動速度の大きさｖを算出する（ステップＳ８０５）。この算出した移動速度ｖが設定した移動速度閾値Ｖより大きいか否かを調べる（ステップＳ８０６）。このステップＳ８０６の結果により間引き率を決定する。つまり、移動速度ｖが設定した移動速度閾値Ｖより大きい場合はポインタ識別子の大雑把な移動と判断して、大きな間引き率ｎを適用し（ステップＳ８０７）、移動速度ｖが設定した移動速度閾値Ｖより小さい場合はポインタ識別子の細かな移動と判断して、小さい間引き率ｍを適用する（ステップＳ８０８）。

次に、ステップＳ８０９において、ポイント情報に対して指定されている間引き率で間引きを行い、間引き後のデータを被操作端末２に送信する。

以上が、実施形態１の他端末操作装置の第二の間引き処理であるポインタ識別子の移動速度に応じたポイント情報間引き率の調節方式である。

このポインタ識別子の移動速度に応じた間引き率の調整処理により、移動速度がゆっくりで細かくポインタ識別子を動かした場合は、ポイント情報の間引きを少なくして被操作端末側のポインタ識別子を細かく移動させるデータを送信し、ポイント識別子を速く、大雑把に動かした時には、ポイント情報の間引きを大きくしてネットワーク回線容量を節約することにより円滑な被操作端末側のポインタ識別子の操作が実現できる。

なお、上記説明において、ポインタ識別子の移動速度に応じたポイント情報間引き率の調節方式として第一のサンプリングレートと第二のサンプリングレートの２つの間でサンプリングレートを切り替える方式として説明したが、２つのサンプリングレート間の切り替えに限るものではなく、ポインタ識別子の移動速度に比例して無段階にサンプリングレートを変化させても良く、請求項３の記載もサンプリングレートをある値（第一のサンプリングレート）から別の値（第二のサンプリングレート）に変えることを意図し、固定的な２つのサンプリングレート間の切り替えのみを意図するものではない。

次に、本実施形態１の他端末操作装置が備える第三の間引き処理を説明する。 第三の間引き処理は、ネットワーク上の操作端末、被操作端末相互間の状態により調整するものである。つまり、被操作端末に接続された電子会議参加者が利用する操作端末が複数台ある場合に、それら端末間に優先度を付け、優先度に応じた間引き処理によりポイント情報送信量を調節し、さらに被操作端末の状況に応じて送信するポイント情報量を調整するものである。この処理により電子白板などを用いた電子会議等で、議事進行役が利用する端末に対してポイント情報送信の回線容量を優先的に割り当ててポインタを優先的に動かし、他の一般参加者の端末に対しては送信するポイント情報を間引く処理により回線容量割り当てを制限し、ポインタを大雑把に動かすという処理が可能となる。

この第三の間引き処理である操作端末の優先度に応じた間引き率の調節方式の例を以下に説明する。

操作端末間の優先順位、優先度の度合、割り当てる間引き率の決定方法は複数ある。以下に例として、第一の優先付け方法として被操作端末への接続した順番に応じて間引き率を決定する接続順位方式、第二の優先付け方法として被操作端末のＣＰＵ使用率に応じて間引き率を決定するＣＰＵ使用率方式、第三の優先付け方法として操作権所有者のポインタ操作を優先するように間引き率を決定する操作権所有者優先方式、第四の優先付け方法として被操作端末画面上の特定の領域の近傍に近づくと間引き率を変化させるポインタ位置方式、第五の優先付け方法としてポインタ識別子の使用頻度に応じて間引き率を決定するポインタ識別子使用頻度方式の５つの方式を以下に順に説明する。

まず、第一の優先付け方法として被操作端末への接続した順番に応じて間引き率を決定する接続順位方式を説明する。

会議参加者が利用する操作端末が、ｈ１，ｈ２，・・・，ｈｎ台あるとする。被操作端末は、図２に示したように第一のサンプリングレート調整部６０、優先度設定部６２を備えている。記憶部４０にポイント情報間引き率としてｍ１，ｍ２，・・・，ｍｎの変数を用意しておく。優先度設定部６２は接続順位を示す接続カウンタＣを備え、カウンタ値を１に初期化しておく。この接続カウンタＣはネットワーク上で他の操作端末が接続してくる度に値を“１”増分する。被操作端末の制御部３０はこの接続カウンタＣの値Ｃｎを利用して、ポイント情報間引き率ｍｎを、ｍｎ＝１−１／Ｃｎとして計算する。ここで１−１／Ｃｎの意味は、元の１のデータ量が１−１／Ｃｎのデータ量となるように間引くことを言う。第一接続者のポイント情報間引き率が０、第二接続者が１／２、第ｎ接続者が１−１／ｎとなり、接続が後になる程大きく間引かれることとなる。

この接続順位方式を用いた第一の優先付け方法により、複数の操作端末が接続されたシステムにおいて、先行して電子会議に参加した者を優先する回線容量の割り当て制御ができる。

次に、第二の優先付け方法として被操作端末のＣＰＵ使用率に応じて間引き率を決定するＣＰＵ使用率方式を説明する。

会議参加者が利用する操作端末が、ｈ１，ｈ２，・・・，ｈｎ台あるとする。被操作端末は記憶部４０にポイント情報間引き率としてｍ１，ｍ２，・・・，ｍｎの変数を用意しておく。また、被操作端末は、図２に示したようにＣＰＵ使用率検出部６１を備え、ＣＰＵ使用率Ｕを計算するプログラムが装備されている。ここで、Ｕは、ＣＰＵの最高使用時の負荷を１としたときの負荷の割合であり、０≦Ｕ≦１の範囲にある。

被操作端末２のＣＰＵ使用率検出部６１は計算して得たＣＰＵ使用率Ｕを元に、ポイント情報間引き率ｍｎを、ｍｎ＝Ｕとして計算する。このように、被操作端末２が高負荷状態となる程、ポイント情報間引き処理の割合が大きくなる。

このＣＰＵ使用率方式を用いた第二の優先付け方法により、被操作端末２が処理プログラムの影響により高負荷状態となっている場合でも、各操作端末からの遠隔操作の遅延を減少させることが可能となる。

なお、請求項４において、ＣＰＵ使用率に応じたポイント情報間引き率の調節方式として第一のサンプリングレートと第二のサンプリングレートの２つの間でサンプリングレートを切り替える方式として説明したが、ＣＰＵ使用率に比例して無段階にサンプリングレートを変化させても良く、サンプリングレートをある値（第一のサンプリングレート）から別の値（第二のサンプリングレート）に変えることを意図し、固定的な２つのサンプリングレート間の切り替えのみを意図するものではない。

第三の優先付け方法として操作権所有者のポインタ操作を優先するように間引き率を決定する操作権所有者優先方式を説明する。

電子会議システムで利用される共有画面に示されるポインタ識別子として、入力操作が可能なカーソルとしての機能を持つ指示・入力ポインタと、入力操作はできないが、画面上のオブジェクトを指し示す指示ポインタの２種類を設けることができる。指示・入力ポインタは、カーソルとしていわゆるクリック、ドラグ＆ドロップなどの操作を行うことができるものであり、操作性を落とすことなく高いレベルで与えることが必要である。一方、指示ポインタは共有画面上のオブジェクトを指し示すことが目的であるので指示・入力ポインタよりも操作性を落としても問題となることが少ない。

そこで、電子会議参加者が指示・入力ポインタの操作権を得て、操作するポインタ識別子を指示・入力ポインタに切り替えた場合に併せてポイント情報間引き率を切り替えて小さくし（例えば、指示ポインタ間引き率の半分）、指示ポインタに切り替えた場合に併せてポイント情報間引き率を切り替えて大きくする。

この操作権所有者優先方式を用いた第三の優先付け方法により、被操作端末２の共有画面のカーソルとしての指示・入力ポインタの操作性を高いレベルに保ち、各操作端末からの遠隔操作の遅延を減少させることが可能となる。

次に、第四の優先付け方法として被操作端末画面上の特定の領域の近傍に近づくと間引き率を変化させるポインタ位置方式を説明する。

被操作端末２の共有画面を操作するにあたり、ポインタ識別子による入力操作パターンはある程度限られたものであるので、特定の操作に限定してポイント情報間引き率を低くして操作性を高いレベルとすることができる。例えば、いわゆるタイトルバー、タスクバーなどの操作は詳細な動きが必要で、ポインティング精度を高くする必要があるのでポイント情報間引き率を小さくする。

このポインタ位置方式を実現する処理の例を説明する。まず、被操作端末２の共有画面上に表示されているオブジェクトから例えば、タイトルバー、タスクバー、イベントボタンなどを特定領域として指定しておく。この特定領域の座標情報を記憶部４０に記憶しておく。

被操作端末２の制御部３０は、共有画面の表示状態とポインタ識別子の位置関係を随時監視し、指定したタイトルバーなどの特定領域の座標情報を利用して特定領域とポインタ識別子の位置との距離Ｓが計算できる。ここで距離Ｓを利用して、ポイント情報間引き率ｍｎを、ｍｎ＝１−１／（１＋Ｓ）とする。このようにポイント情報間引き率ｍｎを決定すれば、特定領域に近づくと間引き率が小さくなり、ポインタ識別子を詳細に操作することができ、特定領域から遠い位置での操作については粗くすることができる。なお、間引き率ｍｎが合理的範囲に収まるように距離Ｓが一定値以上に大きくなった場合にＳの値を前記一定値とすることにより上限を設け、ある程度離れると間引き率を飽和させることが好ましい。

次に、第五の優先付け方法としてポインタ識別子の使用頻度に応じて間引き率を決定するポインタ識別子使用頻度方式を説明する。

各操作端末ｈ１，ｈ２，・・・，ｈｎから被操作端末２への操作頻度の統計をとり、その操作頻度に応じて間引き率を決定する方式である。この方式では、共有画面操作の多い操作端末ほど間引き率を小さく設定することで便宜を図り、あまり操作のない操作端末は間引き率を高く設定することができる。

このポインタ識別子使用頻度方式を実現する処理の例を説明する。

被操作端末２は図２に示すように操作回数カウンタ６３備えている。この操作回数カウンタ６３は、各操作端末から被操作端末への操作情報送信回数を記録するものである。

被操作端末２の制御部３０は、接続されている各操作端末からの操作情報の送信状況をモニタする。各操作端末からポインティング情報が被操作端末に送信されるごとに対応する操作回数カウンタ６３の値を増加させ、例えば、一定期間Ｔの間の各操作端末の被操作端末への操作情報送信回数をカウントする。ここで、例えば、ポイント情報間引き率ｍｎを、ｍｎ＝１−当該操作端末のカウント数／全操作端末の総カウント数とする。このようにポイント情報間引き率ｍｎを決定すれば、共有画面操作の多い操作端末ほど間引き率を小さく設定できる。

以上に説明した優先付けの方法により、操作端末間の優先順位、優先度の度合、割り当てる間引き率が決定でき、第三の間引き処理である操作端末の優先度に応じた間引き率の調節が実現できる。

以上、本実施形態１の他端末操作装置は、上記説明した第一の間引き処理から第三の間引き処理までを行うことができ、操作端末と被操作端末との間に流れる情報量を調節し、操作端末のポインタ入力装置からの入力に対する被操作端末のポインタ識別子の反応を向上させ、適切な操作性を確保することができる。

（実施形態２）
本実施形態２の他端末操作装置は、電子会議参加者の各操作端末の表示画面上に被操作端末の操作エリア領域を設け、操作エリア内でポイント入力装置を利用した操作指示をネットワークを介して被操作端末に送信するものである。また、本実施形態２の他端末操作装置は、このような操作エリアを設けた場合でも操作エリア内外での入力・指示ポインタの移動速度を調節することにより、操作端末単独の操作性を落とすことなく、かつ、被操作端末を操作端末と同じ感覚で操作でき、さらに、被操作端末操作中に誤って操作エリアから逸脱することがないものである。

本実施形態２の他端末操作装置の全体構成の概略と本装置による処理流れの概略を図面を参照しつつ説明する。

本実施形態２の他端末操作装置の装置構成は、実施形態１において図１〜図３により示した他端末操作装置の装置と同様で良く、ここでは説明を省略する。

図９は、実施形態２の操作端末表示画面例と被操作端末共有画面例を示している。図９左に示すように、操作端末の表示画面９１内に被操作端末操作エリア９２が設けられている。被操作端末操作エリア９２を除く部分が自端末の操作エリア９３である。被操作端末操作エリア９２は、共有画面縮小表示処理部２１により操作端末３の表示画面９１内に被操作端末２の表示画面を縮小表示したものであり、この被操作端末操作エリア９２内におけるポイント入力装置の操作により操作端末を操作する場合と同じ感覚で被操作端末を操作できるものである。このように操作端末３の利用者は自らの画面の一部に被操作端末操作エリアとその他の自操作端末３用のローカルな操作エリアを併有することができ、かつ被操作端末操作エリア９２内に共有画面の全面が縮小表示されることとなる。

図９に示す操作端末の表示画面のポインタ操作の例と被操作端末の共有画面上に表示されるポインタ移動の例により、被操作端末操作エリア９２の操作と被操作端末上での表示の関係を説明する。操作端末の表示画面９１上でＡ点からＣ点までポインタを移動させたとする。Ａ点からＢ点までは自端末の操作エリア９３にあり、被操作端末３への操作指示と扱わない。Ｂ点からＣ点までは被操作端末操作エリア９２内の操作である。まず、Ｂ点に入ったとき被操作端末３の共有画面９４上において対応する位置Ｂ’にもポインタが表示される。Ｂ’点からＣ’点にポインタが移動する様子も被操作端末操作エリア９２内のポインタの動きに対応したものとなっている。この処理を以下、相対位置表示処理と呼ぶ。

上記相対位置表示処理を実現する方式を説明する。本発明では、操作エリアのサイズ（縦横のピクセル数）が、被操作端末の表示部のサイズ（縦横のピクセル数）と異なる場合にも、相対的に同じ位置にポインタが表示される。図９のＢ点を例にとると、被操作端末操作エリア９２を座標表現し、左上を原点（０，０）とし、右下を最大縦幅、最大横幅の（１，１）とし、Ｂ点が被操作端末操作エリア９２内の相対位置として（１，０.１）であるとする。同様に被操作端末３の 共有画面９４を座標表現し、左上を原点（０，０）とし、右下を最大縦幅、最大横幅の（１，１）とすれば、被操作端末操作エリア９２のＢ点に対して、被操作端末３の共有画面９４上における投影点Ｂ’点は同じ相対位置（１，０.１）に 表示されている。

Ｂ点からＣ点への移動も各点が同様に同じ相対位置に投影され、操作端末２上の被操作端末操作エリア９２内のポインタの動きが、被操作端末３上の共有画面９４内のポインタの動きとして表現されている。

上記相対位置表示処理の実現に関し、操作端末２と被操作端末３間のデータの流れを中心に説明する。ここで、Ｗｊは、操作端末２の表示画面の横幅（ピクセル数）、Ｈｊは、操作端末２の表示画面の縦幅（ピクセル数）、Ｗｒは、被操作端末３の表示画面の横幅（ピクセル数）、Ｈｒは、被操作端末３の表示画面の縦幅（ピクセル数）、Ｗｃ（Ｗｃ≦Ｗｊ）は、被操作端末操作エリア９２の横幅（ピクセル数）、Ｈｃ（Ｈｃ≦Ｈｊ）は、被操作端末操作エリア９２の縦幅（ピクセル数）、Ｘｊ（０≦Ｘｊ≦Ｗｊ）は、操作端末２の表示画面の左上を原点とする横座標、Ｙｊ（０≦Ｙｊ≦Ｈｊ）は、操作端末２の表示画面の左上を原点とする縦座標、Ｘｒ（０≦Ｘｒ≦Ｗｒ）は、被操作端末３の表示画面の左上を原点とする横座標、Ｙｒ（０≦Ｙｒ≦Ｈｒ）は、被操作端末３の表示画面の左上を原点とする縦座標、Ｘｃ（０≦Ｘｃ≦Ｗｃ）は、被操作端末操作エリア９２の左上を原点とする横座標、Ｙｃ（０≦Ｙｃ≦Ｈｃ）は、被操作端末操作エリア９２の左上を原点とする縦座標である。

図１０に示すように、操作端末２と被操作端末３の間で座標データを通信することにより、操作端末２上の被操作端末操作エリア９２内でのポインタ操作により違和感なく被操作端末の共有画面９４の操作を行うことができる。

次に、操作端末２上の被操作端末操作エリア９２の内外で入力・指示ポインタの移動速度を調節するポインタ移動速度調節処理と、一度、被操作端末操作エリア９２内に入った入力・指示ポインタが何等かの特別な操作を行わない限り被操作端末操作エリア９２外に出られないポインタ退出制限処理について述べる。これらのポインタ移動速度調節処理とポインタ退出制限処理は、上記の相対位置表示処理を行う際に特に有効なものである。

まず、ポインタ移動速度調節処理について説明する。

ポインタ移動速度調節方式を実現する処理ステップを表わしたフローチャートを図１１に示す。ここで、Ｖｏは、被操作端末操作エリア９２外での入力・指示ポインタ識別子の移動速度、Ｖｃは、被操作端末操作エリア９２内での入力・指示ポインタの移動速度を示す。ここでは、Ｖｃ≦Ｖｏとする。

また、Ｖｃを以下の計算式により求める。なお、以下の計算式において、Ｖｏｘ，Ｖｏｙ，Ｖｃｘ，Ｖｃｙは、それぞれ、Ｖｏ、ＶｃのＸ軸、Ｙ軸方向の速度成分を表わしている。

いま、Ｖｏ、Ｈｊ、Ｗｊ、Ｗｃ、Ｗｒ、Ｈｃ、Ｈｒである各値、つまり被操作端末操作エリア９２外での入力・指示ポインタ移動速度、被操作端末エリア９２のピクセル数、各種座標値はそれぞれ検出され既知であるので以下の（数１）によりＶｃが決定される。

(数１)
Ｖｏｘ＝Ｖｏ／(１＋(Ｈｊ／Ｗｊ)２)１／２
Ｖｏｙ＝Ｖｏ／(１＋(Ｗｊ／Ｈｊ)２)１／２
Ｖｃｘ＝Ｖｏｘ＊Ｗｃ／Ｗｒ
Ｖｃｙ＝Ｖｏｙ＊Ｈｃ／Ｈｒ
Ｖｃ＝(Ｖｃｘ２＋Ｖｃｙ２)１／２

操作端末３の制御部３０は（数１）によりＶcを決定し（ステップＳ１１０１ ）、ポインタ識別子の移動があればその位置を検出し（ステップＳ１１０２，ステップＳ１１０３）、入力・指示ポインタの位置が被操作端末操作エリア９２内であるか否かを検出する（ステップＳ１１０４）。被操作端末操作エリア９２内であれば入力・指示ポインタの移動速度をＶｃに切り替え（ステップＳ１１０５）、被操作端末操作エリア９２外であればＶｏに切り替える（ステップＳ１１０６）。この処理により、入力・指示ポインタの速度を被操作端末操作エリア９２外では操作端末設定時の通常の移動速度Ｖｏとなり、被操作端末操作エリア９２内では相対的に速度が遅いＶｃとすることができるので入力・指示ポインタの緩やかな動きとなり細かな移動が表現できる。

次に、ポインタ退出制限処理を説明する。通常、電子会議参加者は手元の操作端末３の表示画面９１を見ずに被操作端末３の共有画面９４を見ながら操作するため、手元では思わず被操作端末操作エリア９２を飛び出しまう場合がある。そこで、ポインタ退出制限部を設け、入力・指示ポインタが被操作端末操作エリア９２から退出するために、特別な操作、または特別な条件を要求することとし、入力・指示ポインタの被操作端末操作エリア９２からの退出が操作者の意思によるものか否かを判断することとしたものである。ここで、特別な操作または特別な条件とは、検出しうるイベントで、特に他の操作指示のイベントとして割り当てられていないものであれば良いが、例えば、特別な操作として、マウスの右クリックを押下しながらのポインタの移動、キーボードの特定のキーを押下しながらの移動、被操作端末操作エリア９２の特定箇所に設けた退出ボタンの押下などがある。また、特別な条件として、ある一定以上の速度でポインタを移動させた場合のみ退出を許すなどである。これら特別な操作または特別な条件に依らない場合は、入力・指示ポインタは被操作端末操作エリア外に退出することができない。

ポインタ退出制限処理を実現する処理ステップを表わしたフローチャートを図１２に示す。

図１２のフローチャートは操作端末３における処理を表わしている。被操作端末側の処理は、実施形態１と同様の処理であるのでここでは省略している。

前提として、各操作端末３は入力・指示ポインタが被操作端末操作エリア９２内であるか否かを示すステータスＳを記憶部４０のレジスタなどに用意しておく。ステータスＳの初期状態は“エリア外”とする。

待機状態から、ポインタ入力装置などの入力部１０から何かイベントが入力されたとする（ステップＳ１２０１）。制御部３０は、前記イベントが入力された時の入力・指示ポインタの位置が被操作端末操作エリア９２外であるか否かをチェックする（ステップＳ１２０２）。被操作端末操作エリア９２外であれば、ステップＳ１２０３に進む。ステップＳ１２０３では、操作により入力・指示ポインタが被操作端末操作エリア９２内に入ったか否かをモニタする。被操作端末操作エリア９２内に入った場合、ステップＳ１２０４に進み、ステータスＳを“エリア内”に更新し、オペレーティングシステムに対して入力・指示ポインタの移動可能範囲を被操作端末操作エリアとするように更新登録する。更新処理後、ステップＳ１２０１に戻る。ステップＳ１２０３でポインタ識別子が被操作端末操作エリア外であれば、イベントを自端末への操作として処理する（ステップＳ１２０５）。

次に、ステップＳ１２０２で入力・指示ポインタが、被操作端末操作エリア９２内であると判断された場合は、ステップＳ１２０６に進み、操作内容が、入力・指示ポインタの退出を許す特別な操作、特別な条件を満たしているかをチェックする。退出が認められない場合はステップＳ１２０８に進み、イベントの内容に応じた被操作端末２への操作を行う。退出が認められた場合は、ステータスＳを“エリア外”に更新し、オペレーティングシステムに対して入力・指示ポインタの移動可能範囲を操作端末３の表示画面全体とするように更新登録する（ステップＳ１２０７）。

以上の処理ステップにより、ポインタ退出制限処理が実現できる。

このポインタ退出制限処理により、被操作端末操作中に入力・指示ポインタが誤って被操作端末操作エリア９２内から逸脱することを防止できる。

（実施形態３）
本実施形態３の他端末操作装置は、電子会議参加者の各操作端末の表示画面上での操作と、被操作端末の共有画面上での操作との間に連続性を持たせて、一連の処理手続きをシームレスに実現するものである。操作端末の表示画面上に被操作端末操作エリア９２を設ける点は実施形態２と同様である。

本実施形態３の他端末操作装置の全体構成の概略と本装置による処理流れの概略を図面を参照しつつ説明する。

本実施形態３の他端末操作装置の装置構成は、実施形態１において図１および図２をもって示した他端末操作装置の装置と同様で良く、ここでは説明を省略する。

図１３は、本実施形態３の電子会議参加者各人が使用する端末操作装置の表示画面例を示している。操作端末３の表示画面９１内に特定の領域である入口エリア９５が設けられ、被操作端末の共有画面９４には出口エリア９６が設けられている。ここで、入口エリア９５とは、操作端末２の操作から被操作端末３への操作の連続性を持たせるための切り替え処理イベントを発生する要素となるもので、出口エリア９６は、被操作端末３の操作から操作端末への操作の連続性を持たせるための切り替え処理イベントを発生する要素となるものである。

入口エリア９５と出口エリア９６を利用した操作端末と被操作端末の操作連動の例を示す。図１３に示す例では、操作端末３の表示画面９１上でＡ点から入口エリア９５（例えばＢ点）にポインタを移動させると、被操作端末２の表示画面の所定の点（例えばＢ’点）にポインタ識別子が現れる。それ以後、出口エリア９６にポインタが移動するまでは、ポイント入力装置からの入力・指示の対象が被操作端末の共有画面９４のポインタに切り替わる。なお、前記切り替わりによりポインタ識別子がＢ’点に現れるとしたが、この例に限らず、Ｂ点と画面上の相対位置が同じＢ’’点としても良く、その他特定のデフォルト位置としても良い。また、切り替わりによりポインタを新たに被操作端末の共有画面９４上に表示するものに限らず、前回の操作者が操作権を放棄し、表示されたままとなっているポインタを引き継ぐ形でも良い。

ここで、ポイント入力装置の操作の連続性に注目すると、操作端末の表示画面９１内での移動、入口エリア９５への移動、被操作端末の共有画面上９４のポインタ操作への切り替えが連続してシームレスに行われ、操作者は操作の断裂を感じることがない。

同様に、被操作端末２の共有画面９４上のＢ’点から出口エリア９６（例えばＣ’点）まで移動させると操作端末３の表示画面９１の所定の点（例えばＣ点）にポインタ識別子が現れる。

この入口エリア９５、出口エリア９６を用いた連動操作を行う場合のデータ流れを図１４に示す。図１４に示すように、ポインタが操作端末３の表示画面９１上のＡ点からＢ点まであるときはローカルな自端末操作となりネットワーク上にデータは送信されない。Ｂ点以降はポイント入力装置からポイント情報を得る毎にポイント情報をネットワークを介して被操作端末２へ送信する。被操作端末２の共有画面９４上のＣ’点に達して出口エリア９６に入れば、ネットワークを介した送信が解除され、再びローカルな自端末操作に戻る。

さらに、近年多く使用されているグラフィカルユーザインタフェースを用いたオペレーティングシステムでは、ファイルを識別するアイコンをマウスカーソルを用いたいわゆるドラグ＆ドロップという操作によりファイルの移動や複写を実現できるものがあるが、本実施形態３の入口エリア、出口エリアを利用した他端末操作装置によれば、例えば、操作端末３と被操作端末２間のファイルの移動などがポイント入力装置を用いた一連のドラグ＆ドロップという操作によりシームレスに実行することができる。つまり、例えば、操作端末３のデスクトップ上に格納されているファイルをマウスクリックにより指定して掴み、入口エリア９５までドラグすると、被操作端末の共有画面９４上の所定位置にファイルが表示され、操作者がドラグを続けると引き続き共有画面９４上においてファイルがドラグされる。共有画面９４の所望の位置においてドロップすれば、操作端末から被操作端末の所望の記憶場所にファイルが転送され、格納されることとなる。なお、ファイル転送のタイミングは、入口エリア９５にファイルがドラグされた段階としても良い。図１５に、ファイル転送を例とした場合のデータの流れを示す。 なお、上記説明した入口エリア９５、出口エリア９６の利用にあたり、両者の表示画面上における相対的大きさを調整することにより、操作端末３のローカルな操作から被操作端末２の遠隔操作への移行のしやすさ、遠隔操作から再びローカルな操作端末２の操作への移行のしやすさに強弱をつけることが可能となる。例えば、出口エリア９６を共有画面９４上相対的に小さくすれば、共有画面９４上での操作中、誤って出口エリア９６上に入ってしまうという誤操作が生じる可能性を小さくすることができる。

（実施形態４）
本実施形態４の他端末操作装置は、電子会議参加者が操作端末から被操作端末を遠隔操作中は、操作端末が備えるポイント入力装置から入力したポイント情報を操作端末自身のポインタ識別子には与えず、被操作端末のみに与えるものである。これにより、遠隔操作中に操作端末自身にもポイント情報を与えると、電子会議参加者が被操作端末の共有画面を見ながら操作中、手元の操作端末のポインタも連動して同じ動きをすることとなり、ポインタ識別子が実施形態３で説明したような入口エリアなど特別な領域に不用意に入ってしまったり、クリックにより操作端末上で意図しないイベントが発生したりすることが防止できる。

また、本実施形態４の他端末操作装置は、被操作端末の操作権の解除を共有画面上の操作など、操作端末の表示画面の操作を行わずに操作権の解除ができる。 本実施形態４の他端末操作装置の全体構成の概略と本装置による処理流れの概略を図面を参照しつつ説明する。

本実施形態４の他端末操作装置の装置構成を図１６に示す。図１６に示すように本実施形態４の操作端末は、操作権解除判定部８０を備えている。その他、図１および図２をもって示した他端末操作装置の装置と同様の要素には同じ番号を付しており、ここでは説明を省略する。

操作権解除判定部８０は、ポインタジェスチャ解析部８１、ジェスチャ解析部８２、音声解析部８３を備えている。ポインタジェスチャ解析部８１は操作者のポインタ操作によるポインタの動き（ポインタジェスチャ）に割り当てられている特定の指示内容を解析・検知する部分である。ジェスチャ解析部８２はカメラを備え、操作者のカメラ撮像データの動きを検知し、その動き（ジェスチャ）に割り当てられている特定の指示内容を解析・検知する部分である。音声解析部８３は音声入力装置を備え、操作者の入力した音声を検知し、その音声に割り当てられている特定の指示内容を解析・検知する部分である。

制御部３０とオペレーティングシステムは、ポイント入力装置など入力部１０から入力されたポイント情報の流れを制御して、操作端末自身または被操作端末のいずれか一方のみに選択的に与える。この切り替えは、操作者の被操作端末操作権の“取得”、“解除”の指定により行う。

図１７は、本実施形態４の操作端末の表示画面の例と、被操作端末の共有画面の例を示しており、図１７ａが操作端末の表示画面例、図１７ｂと図１７ｃが被端末操作端末の共有画面例を示している。

図１７ａに示すように、操作端末の表示画面内には、被操作端末の操作権の取得を指定する“取得”ボタン９７が設けられている。この取得ボタン押下により、被操作端末が操作権取得を認めれば、当該操作端末の操作者は被操作端末の操作権を得ると共に、操作端末が備えるポイント入力装置から入力されるポイント情報の流れが切り替わり、ポイント情報はネットワークを介して被操作端末に与えられ、操作端末自身のポイント情報として取り込まれない。従って操作端末の表示画面上のポインタ識別子は、被操作端末の操作権取得後は、表示画面の取得ボタン９７の付近に静止したままとなる。

操作者は、操作権取得後は、ポイント入力装置を利用して被操作端末を遠隔操作でき、被操作端末の共有画面を見ながら操作中に操作端末上でポインタ識別子が実施形態３で説明したような入口エリアなど特別な領域に不用意に入ってしまったり、クリックにより操作端末上で意図しないイベントが発生したりすることはない。

次に、獲得した被端末操作権の解除について説明する。本実施形態４は、操作権解除が、操作端末の操作によらず実行できる。解除方法については、以下の５つの解除方式を説明する。

第一の操作権解除方式は、図１７ｂに示すように、被操作端末の共有画面内には、被操作端末の操作権の解除を指定する“解除”ボタン９８を設けるものである。この解除ボタン９８押下により、被操作端末が操作権解除を認めれば、当該操作端末の操作者は被操作端末の操作権を解除できると共に、操作端末が備えるポイント入力装置から入力されるポイント情報の流れが切り替わり、ポイント情報は被操作端末に送信されず、操作端末自身にのみ取り込まれる。従って、図１７ｃのように、被操作端末の共有画面上のポインタは次の操作者が操作権を取得するまで解除ボタン９８付近で静止したままとなり、一方、操作権を解除した当該操作端末側では、操作権取得中、表示画面上の取得ボタン９７付近に静止していたポインタの動作が再開する。

第二の操作権解除方式は、操作権保有中に操作対象となっている被操作端末の共有画面のポインタ識別子の特定の動き（ジェスチャ）によって操作権解除を指示して実行するものである。

被操作端末は、ポインタ識別子のジェスチャ解析部８１を備え、操作者によるポインタ識別子を使ったジェスチャの指示内容を解析する。例えばクロスを描く、跳ね上げるなどのポインタ操作を操作権解除指示ジェスチャに割り当てておき、被操作端末はそのジェスチャを検出すれば操作権を解除する。

第三の操作権解除方式は、操作端末から一定時間、ポイント情報が送信されなくなると、操作者の被操作端末への一連の操作が終了したと判断して操作権を解除するものである。

被操作端末は、第二のタイマ７３に操作権を強制解除するまでの猶予時間を記憶する。第二のタイマ７３は操作権を保有する操作端末の前記ポイント入力装置からの入力操作が停止してからの経過時間をカウントする。操作者は被操作端末への一連の処理が終了すると、ポイント入力装置を使った操作を終了する。その時点からタイマが経過時間のカウントを開始し、前記猶予時間が経過すれば被操作端末に猶予時間経過を通知する。被操作端末はタイマからの通知を検出すると操作権を解除する。このように操作権保有者の意思に基づき、一定期間入力操作を停止することで操作権を解除することができる。

第四の操作権解除方式は、操作端末がカメラを備え、操作者の身振りによるジェスチャにより操作権を解除するものである。

操作端末は、カメラと、人間の身振りによるジェスチャを解析するジェスチャ解析部８２を備えている。ジェスチャ解析部８２は、操作者のジェスチャによる指示入力を解析する。特定のジェスチャ、例えば、手でクロスを描くなどのジェスチャを操作権解除指示ジェスチャであるとジェスチャ解析部に登録しておく。操作者は被操作端末への一連の処理が終了すると、カメラから操作権解除指示ジェスチャを入力する。操作権解除指示ジェスチャであるとジェスチャ解析部が解析すると、操作端末は指示内容を被操作端末に送信し、被操作端末は操作権解除を実行する。このように、操作権の解除にあたり操作端末の表示画面上でのポインタ操作は不要となる。

第五の操作権解除方式は、操作端末が音声入力装置を備え、操作者の音声入力による指示により操作権を解除するものである。

操作端末は、音声入力装置と、人間の音声入力を解析する音声解析部８３を備えている。音声解析部８３は、操作者の音声入力による指示を解析する。例えば、「解除」という音声入力が操作権の解除指示であると音声解析部８３に登録しておく。操作者は被操作端末への一連の処理が終了すると、音声入力装置から操作権解除指示を入力する。操作権解除指示であると音声解析部８３が解析すると、操作端末は指示内容を被操作端末に送信し、被操作端末は操作権解除を実行する。このように、操作権の解除にあたり操作端末の表示画面上でのポインタ操作は不要となる。

以上、操作権の解除にあたり、操作端末の表示画面上のポインタ識別子による細かい操作を不要とすることができ、操作権取得後、操作権の解除まで一連の操作を共有画面を中心として実行でき、円滑な操作が可能となる。

（実施形態５）
本発明にかかる他端末操作装置は、上記に説明した構成を実現する処理ステップを記述したプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することにより、各種コンピュータを用いて構築することができる。本発明にかかる他端末操作装置を実現する処理ステップを備えたプログラムを記録した記録媒体は、図１８に図示した記録媒体の例に示すように、ＣＤ−ＲＯＭ１０２やフレキシブルディスク１０３等の可搬型記録媒体１０１だけでなく、ネットワーク上にある記録装置内の記録媒体１００や、コンピュータのハードディスクやＲＡＭ等の記録媒体１０５のいずれであっても良く、プログラム実行時には、プログラムはコンピュータ１０４上にローディングされ、主メモリ上で実行される。

本発明の実施形態１の他端末操作装置を実現したネットワーク全体の概略構成図 本発明の実施形態１の被操作端末の概略構成を示すブロック図 本発明の実施形態１の操作端末の概略構成を示すブロック図 本発明の実施形態１の他端末操作装置が使用するサンプリングレートの概念を説明する図 本発明の実施形態１の操作端末３の表示画面上のポインタと被操作端末２の共有画面上のポインタとの連動の様子を示した図 本発明の実施形態１のタイマを用いる第一の間引き処理の処理ステップを示したフローチャート 本発明の実施形態１のポイント情報の検出カウンタを用いる第一の間引き処理の処理ステップを示したフローチャート 本発明の実施形態１の第二の間引き処理の処理ステップを示したフローチャート 本発明の実施形態２の操作端末表示画面と被操作端末共有画面の例 本発明の実施形態２の操作端末２と被操作端末３間のデータの流れを中心に示した図 本発明の実施形態２のポインタ移動速度調節方式を実現する処理ステップを表わしたフローチャート 本発明の実施形態２のポインタ退出制限処理を実現する処理ステップを表わしたフローチャート 本発明の実施形態３の端末操作装置の表示画面例を示す図 本発明の実施形態３の入口エリア９５、出口エリア９６を用いた連動操作を行う場合のデータ流れを中心に示した図 本発明の実施形態３の入口エリア９５、出口エリア９６を用いたファイル転送を例とした場合のデータの流れを中心に示した図 本発明の実施形態４の他端末操作装置の概略構成を示すブロック図 本発明の本実施形態４の操作端末の表示画面の例と、被操作端末の共有画面の例を示す図 本発明の実施形態５の記録媒体の例

符号の説明

１０ 入力部
１１ キー入力装置
１２ ポインタ入力装置
２０ 表示部
２１ 共有画面縮小表示処理部
３０ 制御部
４０ 記憶部
５０ 通信インタフェース部
６０ 第一サンプリングレート調整部
６１ ＣＰＵ使用率検出部
６２ 優先度設定部
６３ 操作回数カウンタ
７０ 第二サンプリングレート調整部
７１ サンプリングレート変更部
７２ 第一のタイマ
７３ 第二のタイマ
７４ ポイント情報検出カウンタ
７５ ポインタ移動検出部
８０ 操作権解除判定部
８１ ポインタジェスチャ解析部
８２ ジェスチャ解析部
８３ 音声解析部
９１ 操作端末の表示画面
９２ 被操作端末操作エリア
９３ 自端末の操作エリア
９４ 被操作端末の共有画面
９５ 入口エリア
９６ 出口エリア
９７ 取得ボタン
９８ 解除ボタン
１００ 回線先のハードディスク等の記録媒体
１０１ ＣＤ−ＲＯＭやフレキシブルディスク等の可搬型記録媒体
１０２ ＣＤ−ＲＯＭ
１０３ フレキシブルディスク
１０４ コンピュータ
１０５ コンピュータ上のＲＡＭ／ハードディスク等の記録媒体

Claims (14)

1. 少なくとも１以上の操作端末と被操作端末とをネットワークを介して接続し、前記操作端末から前記被操作端末を遠隔操作する他端末操作装置において、
   前記被操作端末が共有画面となる表示部を備え、
   前記操作端末がポイント入力装置を備えた入力部と、前記操作端末の表示画面の一部に前記被操作端末の共有画面の全面を縮小表示した被操作端末操作エリアを表示する共有画面縮小表示処理部を備えた表示部とを備え、
   前記ポイント入力装置のポインタ識別子が前記被操作端末操作エリア外にある場合は、前記ポイント入力装置による操作情報を前記操作端末自身に対する操作情報として取り込み、前記ポイント入力装置のポインタ識別子が前記被操作端末操作エリア内にある場合は、前記ポイント入力装置による操作情報を前記被操作端末に送信して被操作端末を遠隔操作し、
   前記被操作端末操作エリア内の前記ポインタ識別子の相対位置が、前記被操作端末の共有画面内のポインタ識別子の相対位置と等しく、前記被操作端末操作エリア内の前記ポインタ識別子の動きが、前記被操作端末の共有画面内のポインタ識別子の動きとして表現されることを特徴とする他端末操作装置。
2. 前記操作端末の前記ポイント入力装置によるポインタ識別子の移動操作に対して、前記ポインタ識別子が前記被操作端末操作エリア内にあるか否かにより前記操作端末表示画面上のポインタ識別子の移動速度を変更する請求項１に記載の他端末操作装置。
3. 前記操作端末が、前記ポインタ識別子の前記被操作端末操作エリアからの退出を制限するポインタ退出制限部を備え、
   前記ポインタ退出制限部は、あらかじめ設定されているイベントを検出した場合に、前記ポインタ識別子の前記被操作端末操作エリアからの退出を許可する請求項１に記載の他端末操作装置。
4. 少なくとも１以上の操作端末と被操作端末とをネットワークを介して接続し、前記操作端末から前記被操作端末を遠隔操作する他端末操作装置において、
   前記操作端末が、ポイント入力装置を備えた入力部と、被操作端末入口エリアを備えた表示部を備え、
   前記被操作端末が、共有画面となる表示部を備え、前記共有画面が被操作端末出口エリアを備え、
   前記入口エリアと前記出口エリアは前記ポイント入力装置の操作対象を切り替えるイベントを発生する特定領域であって、前記操作端末の表示画面上、ポインタ識別子が前記入口エリアに入った場合は、前記ポイント入力装置による操作情報を前記被操作端末に送信して前記被操作端末の共有画面上のポインタ識別子の遠隔操作を実行し、前記被操作端末の共有画面上、ポインタ識別子が前記出口エリアに入った場合は、前記被操作端末の遠隔操作を解除し、前記ポイント入力装置による操作情報を操作端末自身に対する操作情報として取り込むことを特徴とする他端末操作装置。
5. 前記操作端末および前記被操作端末が、ファイルを特定のファイル識別子と関連づけて管理し、前記操作端末の表示画面において、前記ファイル識別子を前記入口エリアに移動すると、前記ファイルを被操作端末に送信するとともに、前記被操作端末の共有画面上、前記ファイルに対応するファイル識別子が表示される請求項４に記載の他端末操作装置。
6. 前記操作端末の表示画面に占める前記入口エリアの割合と、前記被操作端末の共有画面に占める前記出口エリアの割合を調整できる請求項４に記載の他端末操作装置。
7. 少なくとも１以上の操作端末と被操作端末とをネットワークを介して接続し、前記操作端末から前記被操作端末を遠隔操作する他端末操作装置において、
   前記操作端末が、ポイント入力装置を備えた入力部を備え、
   前記被操作端末が、共有画面となる表示部と、前記操作端末に対して前記被操作端末の操作を優先的に行うことができる操作権を設定する操作権設定部を備え、
   前記設定された操作権の解除を前記被操作端末の共有画面上におけるポインタ識別子の特定操作により実行できることを特徴とする他端末操作装置。
8. 前記被操作端末の共有画面が、操作権解除ボタン領域を備え、共有画面上のポインタ識別子による前記操作権解除ボタン領域の押下操作により前記操作権を解除する請求項７に記載の他端末操作装置。
9. 前記被操作端末が、ポイント入力装置の動きに基づく操作ジェスチャを解析するポインタジェスチャ解析部を備え、
   操作者の前記共有画面上のポインタ識別子の操作による操作権解除を指示するジェスチャを前記ジェスチャ解析部により解析し、前記操作権を解除する請求項７に記載の他端末操作装置。
10. 前記被操作端末が、操作権を強制解除するまでの猶予時間を記憶するタイマを備え、
    前記タイマは操作権を保有する操作端末の前記ポイント入力装置からの入力操作が停止してからの経過時間をカウントし、前記猶予時間が経過すれば前記操作権を解除する請求項７に記載の他端末操作装置。
11. 前記操作端末が、音声入力装置と、人間の音声入力を解析する音声解析部を備え、
    前記音声入力装置からの操作者の音声による解除指示の入力を基に前記音声解析部により解析し、前記被操作端末に操作権解除を通知することにより前記操作権の解除ができる請求項７に記載の他端末操作装置。
12. 少なくとも１以上の操作端末と被操作端末とをネットワークを介して接続し、前記操作端末から前記被操作端末を遠隔操作する他端末操作装置を実現する処理プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
    前記操作端末におけるポイント情報の入力を受け付けるポイント情報入力処理ステップと、前記操作端末の表示画面の一部に前記被操作端末の共有画面の全面を縮小表示した被操作端末操作エリアを表示する処理ステップと、前記入力されたポイント情報によるポインタ識別子が前記被操作端末操作エリア外にある場合は、前記ポイント情報を前記操作端末自身に対する操作情報として扱う処理ステップと、前記入力されたポイント情報によるポインタ識別子が前記被操作端末操作エリア内にある場合は、前記ポイント情報を前記被操作端末に送信して被操作端末を遠隔操作する処理ステップと、前記被操作端末操作エリア内の前記ポインタ識別子の相対位置が、前記被操作端末の共有画面内のポインタ識別子の相対位置と等しく、前記被操作端末操作エリア内の前記ポインタ識別子の動きが、前記被操作端末の共有画面内のポインタ識別子の動きとして表現される処理ステップとをコンピュータに実行させる処理プログラムを記録した記録媒体。
13. 少なくとも１以上の操作端末と被操作端末とをネットワークを介して接続し、前記操作端末から前記被操作端末を遠隔操作する他端末操作装置を実現する処理プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
    前記操作端末におけるポイント情報の入力を受け付けるポイント情報入力処理ステップと、被操作端末入口エリアを備えた表示画面を前記操作端末の表示画面として提供する処理ステップと、被操作端末出口エリアを備えた前記被操作端末の共有画面を提供する処理ステップと、前記操作端末の表示画面上、ポインタ識別子が前記入口エリアに入った場合は、前記ポイント入力装置による操作情報を前記被操作端末に送信して前記被操作端末の共有画面上のポインタ識別子の遠隔操作を実行する処理ステップと、前記被操作端末の共有画面上、ポインタ識別子が前記出口エリアに入った場合は、前記被操作端末の遠隔操作を解除し、前記ポイント入力装置による操作情報を操作端末自身に対する操作情報として取り込む処理ステップとをコンピュータに実行させる処理プログラムを記録した記録媒体。
14. 少なくとも１以上の操作端末と被操作端末とをネットワークを介して接続し、前記操作端末から前記被操作端末を遠隔操作する他端末操作装置を実現する処理プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
    前記操作端末におけるポイント情報の入力を受け付けるポイント情報入力処理ステップと、前記被操作端末の共有画面を提供する処理ステップと、前記操作端末に対して前記被操作端末の操作を優先的に行うことができる操作権を設定する処理ステップと、前記被操作端末の共有画面上におけるポインタ識別子の特定操作により前記設定された操作権を解除する処理ステップとをコンピュータに実行させる処理プログラムを記録した記録媒体。

Images